Wzniesiono osobny budynek szkoły (1648) i szpital (1652). Po trwającej 100 dni heroicznej obronie, jesienią 1654 r. miasto na 13 lat trafiło pod okupację moskiewską. Wraz z obrońcami twierdzy jezuici trafili do niewoli w Kazaniu, a w opuszczonych budynkach otwarto monaster św. Aleksego. Po powrocie Witebska w granice Rzeczypospolitej. Rezydencja witebska została wskrzeszona w 1668 roku, a w 1682 roku podniesiona została do rangi kolegium. W 1668 roku Jezuici założyli teatr. W 1676 roku powstała bursa, w 1679 roku zbudowano szkołę, w 1682 roku młyn. W 1682 roku otworzono kolegium, które prowadziło kursy filozofii i teologii moralnej. W 1697 roku zbudowano aptekę. Najhojniejszym dobrodziejem kolegium był w tych czasach podkomorzy witebski Adam Franciszek Kisiel, który z kościoła św. Józefa uczynił rodzinne mauzoleum oraz ośrodek kultu bł. Jozafata.
Murowany kościół i kolegium W wigilię Zielonych Świąt w 1691 r. rektor Walenty Hermanowski położył kamień węgielny pod piętrowego kolegium. W 1700 r. kolegium gościło króla Augusta II Mocnego.