Kasztel zamieszkiwany był do końca XVIII wieku. Po Gładyszach przechodził kolejno we władanie Strońskich, Siedleckich, Bronikowskich, Rogoyskich, Sękiewiczów i Kuźniarskich. W XIX wieku mieściły się w nim gorzelnia i magazyn zbożowy. Pod koniec XIX stulecia i jeszcze w okresie międzywojennym na parterze funkcjonowały kuchnia dla czeladzi dworskiej oraz kurnik. Dwór pełnił też funkcję lamusa, w którym przechowywano niepotrzebne sprzęty. W latach międzywojennych dwór był własnością Zbigniewa Sękiewicza, który mieszkał w stojącym tuż obok modrzewiowym dworku. Sękiewicz usiłował wyremontować zabytkową budowlę (a przynajmniej zabezpieczyć nowym dachem), jednak z braku funduszów nie zdołał tego uczynić przed śmiercią (w 1934 r.)Reinfuss Roman: Oppidium Schonberg. Historia nieudanego miasta, w: Magury '98. Rocznik krajoznawczy poświęcony Beskidowi Niskiemu, wyd. Studenckie Koło Przewodników Beskidzkich, Warszawa 1998, ISSN 1505-4993, s. 6-13. Po II wojnie dwór przejęło państwo. Od początku lat 50. XX wieku Ministerstwo Kultury i Sztuki powierzało prace kolejnym Pracowniom Konserwacji Zabytków. Postępująca odbudowa trwała pół wieku. Podczas pierwszego etapu remontu usunięto wtórne elementy i przywrócono renesansowy charakter dworu.