Na początku IX wieku domy zostały rozebrane, a szczyt Góry Zamkowej stał się miejscem kultu religijnego. Na ruinach wałów, od strony wschodniej palono święte ogniska. Na początku X wieku w połowie zbocza wzniesiono wał obronny o obwodzie ponad 800 metrów. Zbocze góry poniżej wału wyłożono głazami. Po wewnętrznej stronie wzniesiono przyparte do wału domy mieszkalne. Przypuszczalnie były to pomieszczenia służące załodze trzymającej straż nad okolicą. Od najłatwiej dostępnej i najtrudniejszej do obrony strony południowej wykonano przekop łączący jezioro Szurpiły z jeziorem Kluczysko i napełniono go wodą. Obronę od strony jezior zapewniał system wież obserwacyjnych.
W roku 1283 góra została zdobyta przez Krzyżaków, co zakończyło świetność grodziska. Gród stał się miejscem sporów między Państwem Krzyżackim a Litwinami. Ostatecznie góra stała się własnością Litwinów, którzy postawili na wzniesieniu domek myśliwski.
Walory krajobrazowe Widok z Góry Zamkowej obejmuje otaczające ją jeziora oraz sąsiednie wzgórza, w tym, od wschodu, Górę Kościelną i Górę Cmentarną. Od południowego wschodu do Góry Zamkowej dociera wąska zatoka jeziora Szurpiły, zwana Jodeł, zamknięta wysoką wyspą – Pustelnią.
U podnóża góry znajduje się głaz – pomnik przyrody.