W 1660 roku pałac został wyremontowany, w uproszczonej formie bez attyki i z loggią frontową w nowym kształcie, według projektu Izydora Affaita starszego lub Tytusa Burattiniego. Został nazwany pałacem Kazimierzowskim od imienia króla Jana Kazimierza, dla którego pałac ten stał się ulubioną siedzibą. Przed abdykacją Jan Kazimierz podarował pałac swojej żonie Ludwice Marii Gonzadze. Po jej śmierci w 1667 roku, stał się własnością jej siostry, żony Henryka II de Guise, Anny Marii Gonzagi de Clèves-Nevers (starszej siostry żony króla). Od niej w 1678 roku kupił pałac król Jan III Sobieski. W 1690 roku przekazał go synowi Jakubowi Ludwikowi. W dniu 29 grudniu 1695 roku budynek został poważnie zniszczony przez pożar, który wybuchł w pokoju podskarbiego Wretta. Do 1727 roku pałacu nie odbudowano.
Od 1727 roku własność króla Augusta II Mocnego. W tym okresie powstała brama wjazdowa od strony ul. Krakowskie Przedmieście, a na dziedzińcu osiem budynków koszarowych poprzecznie do fasady pałacu. W latach 1727–1733 architekci sascy Jan Deybel i Jan Jauch, na zlecenie króla Augusta II, wykonali kilka wersji projektu przebudowy pałacu w duchu późnego baroku, ale projekty te nie zostały zrealizowanehttps://www.uw.edu.pl/wp-content/uploads/2020/04/przewodnik-po-zabytkach.wyd_.3-2012.pdf.