Przebudową zamku zajmowali się włoscy architekci Jakub i Franciszek Parr. Ich kontynuatorami byli Bernard i Piotr Niuronowie, którzy pod koniec wieku ufortyfikowali rezydencję. Prace budowlane trwały do 1560 r., a wykończenia do 1582 r.
XVII–XIX w. W 1675 r. na zamku zmarł ostatni potomek z linii Piastów śląskich, Jerzy Wilhelm i rezydencja zaczęła podupadać. Opuszczony zamek uległ niewielkim zniszczeniom w czasie ostrzału miasta przez króla pruskiego, Fryderyka II w 1741 r. Następnie zamek pełnił funkcje karczmy, koszar, magazynu.
Od XX w. W 1922 r. usunięto z zamku magazyny i przeprowadzono drobne konserwacje: zabezpieczono Bramę Wjazdową. W 1924 r. założono tu Muzeum Miejskie. W 1945 r. budowla została ponownie uszkodzona. W 1952 r. otwarto tu obecne muzeum. W latach 1966–1990 budowlę odbudowano wg stanu jaki istniał w XVI w. Odnowiono Bramę Wjazdową, krużganki i kilka sal. Autorem koncepcji projektu rekonstrukcji dziedzińca zamkowego był prof. Jerzy Rozpędowski, a autorką projektu rekonstrukcji głowicy kolumny I piętra oraz opracowania projektu całości była Jadwiga Maciejowska. Autorami odbudowy pozostałej części zamku byli Tomasz Kornacki i Wacław Podlewski z PKZ Oddział w Warszawie.