W 881 klasztor został po raz pierwszy spustoszony przez Normanów, którzy wymordowali lub wzięli w niewolę mieszkających w nim zakonników, nie niszcząc jednak samych budynków. W sytuacji braku gospodarza zostały one przejęte samowolnie przez właścicieli sąsiadujących wsi, którzy zostawili jedynie jednego kapłana – opiekuna kościoła.
W 1003 w Lissies ustanowiono kanonię i nakazano zwrot zagarniętych ziem. Kanonicy wytoczyli wówczas proces odpowiedzialnym za uprzedni samowolny zabór i w rezultacie wywalczyli wysokie odszkodowanie, które pozwoliło na remont klasztoru. Dzięki prywatnym dotacjom (przede wszystkim od Ermentrady Adelard, żony innego miejscowego feudała, oraz Teodoryka i Ady d’Avesnes), wybudowano nowy kościół na miejscu dawnego. Do opactwa powrócili benedyktyni. Tymczasem nowy pan na Avesnes Gautier d’Oisy na czele prywatnego pocztu splądrował opactwo i całkowicie zniszczył jedną z jego wież w ciągu kilku kolejnych wypraw, którym nie zapobiegła nawet mediacja Bernarda z Clairvaux oraz hrabiego Hainaut. Zmiana postawy d’Oisy’ego nastąpiła około roku 1100, kiedy jego syn Thierry zginął zamordowany przez bandytów na pobliskim gościńcu.