Kościół przetrwał bez większych strat trzy wielkie pożary Kowna w latach 1603, 1624 i 1668. Natomiast w 1655 r. został zdewastowany przez wojska rosyjskie, jednak po zakończeniu działań wojennych budowlę szybko odnowiono. Po raz kolejny świątynia została zdewastowana podczas I wojny północnej. Z kolei w 1812 r., podczas inwazji Napoleona na Rosję, wojska francuskie podążające na wschód najpierw przekształciły kościół w swój magazyn broni, a podczas odwrotu podpaliły go, powodując całkowite zniszczenie budowli. W 1819 r. gwardian franciszkańskiego klasztoru kowieńskiego Grigalius Golickis przeprowadził odbudowę kościoła, który nakryto nowymi sklepieniami, zmieniono również posadzkę. Klasztor franciszkanów został skasowany w 1845 r. przez władze rosyjskie. Kościół Witolda przez pięć lat pozostawał nieużytkowany, zaś w latach 1850-1853 r. został przebudowany na prawosławną cerkiew św. Mikołaja. W XIX w. kościół, położony nad brzegiem Niemna, był również kilkakrotnie zalewany przez powodzie.
Po wkroczeniu wojsk niemieckich do Kowna podczas I wojny światowej kościół został zmieniony w magazyn. W momencie odejścia armii niemieckiej z ziem litewskich kościół był ponownie całkowicie zniszczony.