Po II wojnie szwedzkiej, tzw. „Potopie” (1655-1660), przetrwał jedynie wymurowany z kamienia polnego kościół parafialny, do którego przeniesiono ocalałą z zamku, pochodzącą z ok. 1500 roku, gotycką rzeźbę przedstawiającą Matkę Boską z Dzieciątkiem. Spaliły się również wszystkie akta miejskie i przywileje, dlatego biskup Adam Koss w 1660 roku nadał miastu nową pieczęć miejską i zaopatrzył cechy miejskie w nowe pieczęcie i przywileje. Jego następca biskup Andrzej Olszowski w 1674 roku nadał miastu na 30 lat nowy przywilej.
Wbrew legendzie zamek wąbrzeski nie ucierpiał zbytnio w czasie wojen ze Szwedami. Jego powolna, lecz nieunikniona destrukcja spowodowana była przeniesieniem siedziby biskupiej przez biskupa Jakuba Zadzika do przebudowanego na „nowoczesną” barokową rezydencje zamku w Lubawie. W 1670 roku zamek wąbrzeski i jego kaplica były już tylko ruiną. Zamek nie był już odbudowywany i wraz z kluczem wąbrzeskim oraz miastem oddany został w administrację do folwarku w Sitnie. W 1676 roku nadawał się on jeszcze do odbudowy, lecz nic w tym kierunku nie poczyniono.