Podobny opis można odnaleźć w lustracji z 1661 roku, która opisuje dwór jako skromny i stosunkowo mały, składający się z dwóch dużych izb po bokach oraz sieni na jego osi.
XVIII w. W 1765 roku kolejna lustracja wspomina już bardziej szczegółowo o dworze i budynkach folwarcznych. Opisuje dwór składający się z dwóch pokoi, starożytny, z gankiem pod gontami i trynówkami wewnętrznymi, oraz dwie oficyny - nową i starą, zbudowane w stylu pruskim, które tworzyły dziedziniec wraz ze stajniami.
Dopiero właśnie w 1765 roku, po śmierci Jana Prospera Potockiego h. Pilawa, nadeszła stabilizacja i większe zainteresowanie tymi terenami przez swoich właścicieli, gdy drogą małżeńską z Paulą z Szembeków h. wł., dobra guzowskie przeszły na własność ks. Andrzeja Ogińskiego h. wł. Dobrami tymi Paula zarządzała jeszcze po śmierci swojego męża, łącznie przez niemal czterdzieści lat.
Książę Andrzej Ogiński wystawił w Guzowie późnobarokowy dwór, znany z tylko jednego przekazu ikonograficznego (grafiki z 1855). W dworze urodziła się jego córka, Józefa Zofia Ogińska i syn Michał Kleofas Ogiński (po Antonim Procie Potockim, młodsze, przyrodnie rodzeństwo Feliksa Łubieńskiego).