W 1477 roku, w związku ze sprzyjaniem przez Komorowskich Maciejowi Korwinowi, który sprzymierzył się z zakonem krzyżackim przeciwko Polsce, Kazimierz Jagiellończyk nakazał podjęcie przeciwko nim akcji zbrojnej. Wojskami, które wykonały to zadanie, dowodził starosta krakowski i wojewoda sandomierski Jakub z Dębna; zniszczono wówczas zamek w Barwałdzie oraz średniowieczny zamek w Żywcu; wojska królewskie opanowały także zamek w Szaflarach, poprzednio dzierżawiony przez Piotra Komorowskiego. W późniejszym okresie Komorowscy uzyskali przebaczenie królewskie i odzyskali skonfiskowane dobraJana Długosza kanonika krakowskiego Dziejów polskich ksiąg dwanaście, przeł. K. Mecherzyński, t. V, ks. 12, Kraków 1870, s. 622–623 oraz J. Marszałek, Katalog grodzisk i zamczysk w Karpatach, Wydawnictwo Stanisław Kryciński, Warszawa 1993, s. 39, 212, 264–266.. Państwo żywieckie pozostało w rękach rodziny Komorowskich do 1624 roku.