Po utracie funkcji rezydencjonalnej pod koniec XVIII wieku budowla popadała w ruinę, a w pierwszych dekadach XIX wieku została w znacznej części rozebrana.

Powstanie zamku W Lubawie istniała wcześniejsza, drewniano-ziemna siedziba biskupia, którą wiąże się z gródkiem stożkowatym położonym w zachodniej części miasta. Badania archeologiczne wykazały, że późniejszego murowanego zamku nie wzniesiono w miejscu starszego obiektu obronnego; przed jego budową teren ten był jedynie niezbyt intensywnie zasiedlony.

Nie zachowało się źródło pisane pozwalające dokładnie określić moment rozpoczęcia budowy murowanego zamku. W starszej literaturze przyjmowano, że inwestycję rozpoczął biskup Herman von Prizna, sprawujący urząd w latach 1303–1311. Pogląd ten wynikał jednak przede wszystkim z powiązania budowy zamku z pierwszą lokacją miasta. Pierwsza pewna wzmianka o zamku pochodzi z odnowionego dokumentu lokacyjnego Lubawy wystawionego przez biskupa Ottona w 1326 roku. Dokument wystawiono na zamku, co dowodzi, że budowla – choć niekoniecznie ukończona – już wówczas istniała.