Po bezpotomnej śmierci Kazimierza, majętność przeszła pod władanie jego siostrzeńca i nowego króla Polski – Ludwika Węgierskiego, który w 1370 roku, z okazji swej koronacji, nadał zamek na prawie lennym Władysławowi, księciu opolskiemu, który z kolei włączył zamek wraz z przynależnymi do niego ziemiami do księstwa wieluńskiego.
W 1379 roku Władysław przekazał zamek i otaczające grunty, pochodzącemu z Węgier, Andrzejowi Schony de Barlabas, zwanego również Andrzejem Węgrem. W późniejszych latach, Andrzej tytułował się mianem „z Bobolic”, od władanych przez niego ziem.
Król Ludwik zmarł w 1382 roku nie pozostawiając po sobie męskiego potomka, z tego względu sukcesorem królestwa pozostała najmłodsza córka, Jadwiga z Andegawenów. Podczas odbywającego się w 1383 roku zjazdu politycznego w Sieradzu, polska szlachta wystosowała postulat, który miał na celu zobowiązanie przyszłej królowej Polski, do przywrócenia Królestwu Polskiemu zamku w Bobolicach oraz innych zamków i miast, które ojciec Jadwigi, nadał wspomnianemu wcześniej Władysławowi.