W 1517 r. Jan Tudorowski sprzedał dobra wraz z zamkiem kasztelanowi sandomierskiemu Krzysztofowi Szydłowieckiemu. Po jego śmierci w 1532 roku, zamek przeszedł na własność jego córki Zofii, która wniosła Tudorów w posagu hetmanowi wielkiemu koronnemu Janowi Amorowi Tarnowskiemu. W tym czasie zamek zaczął pełnić jedynie rolę siedziby zarządcy folwarku na terenie majątkowego klucza opatowskiego.
W czasie potopu szwedzkiego, będący wówczas własnością Jerzego Sebastiana Lubomirskiego zamek został zniszczony, a wieża opustoszała. W 1811 roku na licytacji dobra w skład których wchodził zamek kupiła Aleksandra Potocka. Od 1850 do 1944 roku dobra na których leżały ruiny zamku znajdowały się w rękach ziemiańskiej rodziny Karskich, będących także właścicielami ruin zamku w Ossolinie oraz pałaców we Włostowie i Górkach Klimontowskich. W okresie PRL zamek był własnością państwową. W latach 1989-1990 zamek był badany przez archeologa Marka Florka z Biura Badań i Dokumentacji Zabytków w Tarnobrzegu. Do 2021 roku ruiny zamku były własnością rzeźbiarza Gustawa Hadyny, który planował przystosować ją do celów mieszkalnych.