Z tych czasów zachowała się kolumnowa loggia na parterze, oraz jeden z portali w krużgankach wiodący do apartamentów biskupich. Odbudowy i przebudowy rezydencji dokonali Giovanni Maria Padovano i Gabriel Słoński. Z polecenia biskupa Tomickiego dobudowano tylne skrzydło pałacu.
W 2 ćwierci XVII stulecia miała miejsce gruntowna rozbudowa siedziby. Wiąże się ją z biskupem Piotrem Gembickim (lata rządów 1642–1657). Powstał wówczas wczesnobarokowy budynek na planie nieregularnego czworokąta skupiony wokół dziedzińca. Zachowano jednak większość dawniejszych elementów architektonicznych. W wyniku tego powstał monumentalny budynek z szeroką fasadą południową flankowaną w narożach belwederami. Z tego okresu pochodzi m.in. obecny portal wejścia od ul. Franciszkańskiej. Podobny znajdował się od strony zachodniej, przy ul. Wiślnej, pełniący funkcję wejścia głównego. U schyłku XVII w. za czasów biskupa Jana Małachowskiego przebudowano skrzydło zachodnie; pamiątką po nim są płaskorzeźbione w stiuku. herby biskupa umieszczone w sieni, na sklepieniu.