Wskutek zaburzeń w klasztorze (według jednego z późniejszych przekazów mnisi mieli zabić i wrzucić do rzeki Zwickauer Mulde przeora próbującego doprowadzić do przestrzegania przez zakonników reguły) jeden z następców Dedona, Henryk III Dostojny, w uzgodnieniu z biskupem miśnieńskim rozwiązał w 1278 klasztor i przekazał go krzyżakom. Siedzibę miała tu ich komturia. W 1537 doszło w klasztorze do pożaru.
W dobie reformacji, gdy w 1539 zmarł katolicki książę saski Jerzy Brodaty i jego dobra przejął jego luterański brat Henryk Pobożny, dobra krzyżackie zostały zsekularyzowane. W 1543 syn Henryka, Maurycy Wettyn zamienił klasztor i jego dobra za inne dobra w Saskiej Szwajcarii (Hohnstein, Lohmen i Wehlen) z hrabiami Schönburga. Tej zamianie dobra zawdzięczają obecną nazwę: Wechselburg.
Dawne zabudowania klasztorne zniszczył pożar w połowie XVI w. Na ich miejscu (z klasztoru pozostały tylko romańskie piwnice), zbudowano barokowy zamek Wechselburg, ukończony w XVIII w. Romańska świątynia stała się kościołem zamkowym. Po usunięciu właścicieli po drugiej wojnie światowej zamek przekształcono na sanatorium dla dzieci, a następnie szpital dziecięcy.