Budowla użytkowana była do śmierci Barbary Radziwiłłówny w 1551 roku, potem stopniowo popadała w ruinę, została częściowo zniszczona w czasie wojny z Moskwą toczonej w latach 1654–1661. W XVII w. opisywano ją jako zniszczoną, pozbawioną dachu. Nieużytkowanie zamku mogło być związane zarówno z faktem, że Gieranony jako królewszczyzna były oddawane w dzierżawę, jak również z tym, że wzniesiony przez Olbrachta Gasztołda zamek w późniejszych czasach stał się przestarzały i nie spełniał już funkcji obronnych. Według Aftanazego na potrzeby administracji dóbr wzniesiono obok zamku mniejszy budynek. W r. 1740 ruiny zamku zostały częściowo rozebrane.
W inwentarzu kościoła Św. Mikołaja z r. 1784 zamek opisywany jest następująco: „w rozwalinach mury, mający około wały kwadratowe usypane na łokci 20 in circuitu, którego pierwsza fosa głębiny jeszcze po niektórych miejscach na 6 łokci. Sam zamek mający niegdyś 4 wysokie baszty po rogach, jedną salę i trzy pokoje oraz sklepy na 2 kondygnacje”.
Mury zamku na początku w. XIX dochodziły do wysokości pierwszego piętra, zostały rozebrane w 1. ćw. w. XIX na materiał do różnych budowli gospodarskich w sąsiednich dobrach Lipniszki.