Bernard wskazał miejsce pod budowę klasztoru, gdy na szczycie wzgórza Robermont wbił w ziemię swoją laskę, z której wyrósł dąb. Obecnie znajduje się tu kaplica św. Bernarda z 1715 upamiętniająca to legendarne wydarzenie.
Pierwsze budynki opactwa nie zachowały się w swojej pierwotnej formie. W XIII w. opactwo zostało gruntownie przebudowane (Villers III). W 1217 powstał chór, w 1240 krypta a w 1267 refektarz. Kościół przyklasztorny był budowany przez 70 lat i został ukończony pod koniec XIII w. Był jednym z największych kościołów zakonu.
Szczyt rozkwitu opactwa przypada na XII w., kiedy opatem był Arnulf von Löwen. W owym czasie mieszkało i pracowało tu ponad 100 mnichów oraz 300 konwersów. Włości opactwa rozciągały się na przestrzeni prawie 25 tys. akrów pomiędzy Antwerpią a Namur. Opactwo posiadało filie w Grandpré (obecna Francja) (1231) oraz Lieu St. Bernard (1238). Ponad 50 mnichów i braci świeckich, żyjących w owym okresie w Villers zostało później wyniesionych na ołtarze, m.in. opat Gerard I późniejszy biskup Tournai i Konrad de Seyne kardynał-biskup Porto.