W 1672 zamek, na mocy Traktatu buczackiego, wydano w ręce Turków, którzy zbudowali w nim meczet. Wkrótce po bitwie pod Wiedniem w 1683 r. zamek opanował Sieniawski, który rok później od króla Jana III Sobieskiego otrzymał go w dziedziczne władanie W czasie, gdy był rezydencją baszów tureckich, był przez nich odrestaurowany w stylu wschodnim.
W 1730 roku na skutek małżeństwa Augusta Aleksandra Czartoryskiego z Zofią z Sieniawskich, wdową po Stanisławie Denhoffie, Międzybóż, wraz z ogromną fortuną Sieniawskich, przeszedł we władanie Czartoryskich. Miasto stało się przez to administracyjną „stolicą" dóbr podolskich rodu Czartoryskich.
Od września 1790 r. do lipca 1791 r. stacjonował tu Tadeusz Kościuszko, który dowodził stąd czterema pułkami na Podolu i Wołyniu. W czasach Czartoryskich w zamku istniała szkoła powiatowa. Ks. Adam Czartoryski był gorliwym zwolennik szerzenia oświaty wśród swych poddanych, darował zamek na szkołę, która została otwarta 10 października 1814 r. w obecności licznie zgromadzonej szlachty. Po powstaniu listopadowym władze carskie zamknęły szkołę i w 1831 roku skonfiskowały Czartoryskim zamek, który przeznaczono dla rosyjskiego wojska.