W XV wieku następca Tvrtka I, a zarazem jego siostrzeniec Stjepan Vukčić Kosača, znany jako herceg Stjepan, przekształcił osadę w miasto, rozbudował port oraz nadał mu współczesną nazwę. W wyniku ekspansji Imperium Osmańskiego na Bałkanach, w latach 1482–1687 miasto było w rękach Turków. Stało się wówczas przystanią dla korsarzy, handlowano w nim także niewolnikami. Z krótką przerwą w latach 1538–1539 władzę w Hercegu Novim sprawowali Hiszpanie, którzy przez 10 miesięcy swoich rządów zdążyli wybudować potężne umocnienia powyżej miasta (zwane dzisiaj Twierdzą Španjola). W lipcu 1539 roku Hiszpanie broniący miasta, pod dowództwem Francisco de Sarmiento, ulegli naporowi armii osmańskiej pod dowództwem Hajraddina Barbarossy, podczas tzw. bitwy pod Castelnuovo, będącej kulminacyjną bitwą w wojnie o panowanie na Adriatyku pomiędzy Świętą Ligą a Imperium Osmańskim. Mimo straty prawie połowy sił (20 tys. z 50 tys. żołnierzy), Turcy przejęli ponownie miasto, zabijając niemal wszystkich obrońców (3500–4000). W 1687 r. Herceg Novi zajęła Republika Wenecka, włączając miasto do tzw. Albanii Weneckiej, i zmieniając jego nazwę na Castelnuovo. Po upadku Republiki Weneckiej i pokoju w Campo Formio w 1797 r., Herceg Novi (wraz z całym regionem) stało się częścią Monarchii Habsburgów.