Na początku XX wieku dokonano w nim pewnych zmian, gdy budynek przeznaczono na szkołę.
Szymon Skirmunt prawie natychmiast po wybudowaniu przeznaczył ten dwór na oficynę i rozpoczął budowę (między nowym dworem a starym dworem Ogińskich) pięknego empirowego pałacu, która została ukończona w 1798 roku. Pałac ten był również parterowy, ale wzniesiono go na wysokich, sklepionych suterenach. Był murowany i również miał kształt długiego trzynastoosiowego prostokąta. W osi centralnej i obu krajnych wybudowano trzy portyki, z trójkątnymi szczytami wspartymi dwiema parami kolumn w każdym. Przed głównym wejściem, w centralnym portyku, był wielki ćwierćkolisty podjazd i schody dla pieszych. Od strony ogrodowej znajdowały się również 3 portyki, z tym, że centralny znajdował się przed półkolistym ryzalitem. Oba szczyty budynku też miały portyki, w sumie było 8 portyków, mimo to budynek robił harmonijne wrażenie. Rosa Bailly porównywała go do Trianon.
W 1939 roku na ścianach wisiały obrazy, m.in.