Po nich właścicielami zamku zostali Grudzińscy. Przypuszczalnie Maciej Grudziński (zm. 1513) dokończył budowę muru obwodowego od strony południowej, wybrukował teren międzymurza, wybudował ganek, który wiódł do wykusza latrynowego, a także zbudował pomocnicze, drewniane budynki w przestrzeni zamku dolnego. Na początku XVII wieku budowlę wraz z okolicznymi dobrami kupili Smoguleccy.
W czasie potopu szwedzkiego 3 maja 1656 roku oddział konny najeźdźców uzbrojony w cztery armaty ostrzelał warownię, wysadził most oraz bramę, a gdy Szwedom udało się wedrzeć do środka, wymordowali całą załogę (źródła podają liczbę 200-460 ofiar) nie oszczędzając nikogo. Wprawdzie będący na usługach Skandynawów holenderski kronikarz Samuel von Pufendorf zapisał, że wycięto tylko tych, którzy byli pod bronią, a ukrywające się na zamku kobiety i dzieci ocalały, ale wydaje się to wątpliwe. Zginęło wówczas w całej Gołańczy 425 osób.
We wrześniu 2010 roku w trakcie badań archeologiczno-architektonicznych prowadzonych pod kierownictwem dr. Artura Różańskiego z Instytutu Prahistorii Uniwersytetu im. A. Mickiewicza w Poznaniu i mgr.