Po śmierci hrabiego Heinricha von Frauenberga w 1314 roku, zamek przejęli Habsburgowie i był używany do ochrony pogranicza między terytoriami Habsburgów, a niezależnymi kantonami szwajcarskim.
Na początku XVI stulecia, z inicjatywy cesarza rzymskiego Maksymiliana I został wyremontowany w celu naprawienia zniszczeń po oblężeniu w 1499. W XVII i XVIII wieku zamek stracił większość swoich celów wojskowych i został uszkodzony przez kilka pożarów. Nadal był jednak używany jako rezydencja do 1750. Po pożarze w 1795, który poważnie uszkodził Balzers, ruiny zamku posłużyły jako źródło materiałów budowlanych do odbudowy miasta.
W 1824 gmina odkupiła zamek i odnowiła, aby w 1854 sprzedać go księżniczce Franciszce von Liechtenstein. Zamek został gruntownie odrestaurowany w latach 1905–1912 pod nadzorem urodzonego w Vaduz architekta Egona Rheinbergera, który był jego nowym właścicielem. Po śmierci Rheinbergera w 1936 zamek został wynajęty przez gminę, aż do momentu wystawienia go na sprzedaż w 1951. W 1979 zamek został zakupiony przez księstwo Liechtensteinu na cele państwowe i muzealne.