Podczas I połowy XIV wieku wzniesiono na miejscu niewielkiego domu konwentualnego silnie umocniony Zamek Wysoki będącym swojego rodzaju warownym konwentem z kościołem NMP i kaplicą Św. Anny – miejscem pochówku wielkich mistrzów. W kolejnych latach wzniesiono Zamek Średni, pełniący funkcje mieszkalne i reprezentacyjne oraz Pałac Wielkich Mistrzów. Jeszcze w XIV wieku rozpoczęto budowę Zamku Niskiego – Przedzamcza, mieszczącego obiekty gospodarcze i militarne, stanowiące bogate zaplecze dla rycerzy-zakonników. Od 1457 roku pieczę nad zamkiem przejął polski starosta królewski i podległego mu burgrabia. Przez kolejne stulecia znaczenie zamku malało, po rozwiązaniu konwentu nie pełnił żadnej reprezentacyjnej funkcji. Ze względu na ogromne koszty utrzymania wielkiej warowni i zaniedbania zamku, miały miejsce liczne uszkodzenia architektury, które naprawiano wbrew formom historycznym. W 1772 roku zamek przejęli Prusacy, którzy następnie przekształcili go na koszary i magazyny wojskowe co wiązało się z dalszą destrukcją zabytkowego kompleksu.