Po ustaleniu świeckiego zarządu nad opactwem, w XVII wieku, nowi zarządcy majątku nakazali rozbiórkę części dwunasto- i trzynastowiecznych zabudowań, aby sprzedać pochodzące z nich cegły. W 1611 Henri de Neuchèze zamienił klasztor w prywatną rezydencję, którą musiał opuścić dopiero za sprawą osobistej interwencji Ludwika XIII w 1640.
W latach 1640–1692 nowi zakonnicy przeprowadzili gruntowną restaurację budynku oraz zadbali o nowe wyposażenie kompleksu. W czasie wielkiej rewolucji francuskiej klasztor pełnił funkcje szkoły, posterunku żandarmerii oraz teatru.
Od lat 30. XIX wieku prowadzone były prace restauracyjne. Impulsem dla ich rozpoczęcia było odkrycie przez prefekta departamentu imponującego zespołu fresków przykrytych białym wapnem. W 1849 obiekt został ostatecznie uratowany od ruiny, jednak prace remontowe nadal są prowadzone, przede wszystkim w celu ochrony sklepień i nowych, sukcesywnie odkrywanych fresków.