Pierwotny budynek z trójkątnymi frontonami i płycinami na herby zaprojektował pomiędzy 1682 a 1706 Tylman z Gameren, nadając mu plan litery H, który zastosował również w dworze w Czerniakowie z 1683. Charakterystyczne dla Tylmana (znane np. z pałacu Gnińskich w Warszawie) są popiersia właścicieli w owalnych niszach zdobiące fasady skrzydeł budowli. Projekt pałacu opisany ręką Tylmana uległ zniszczeniu w archiwum jego planów w Warszawie podczas II wojny światowej. Pracami budowlanymi kierował architekt nadworny Lubomirskich, Piotr Belotti. Centralny korpus pałacu, osadzony na suterenach sięgających 1,67 m powyżej gruntu, był wówczas parterowy i mieścił salę reprezentacyjną, nad którą znajdował się taras belwederowy przeznaczony na koncerty i widowiska teatralne. Flankowały go dwa piętrowe skrzydła z pokojami dla gości.
Pałac został rozbudowany w latach 1738–1746 na zlecenie Jerzego Ignacego Lubomirskiego, prawdopodobnie dla jego młodej żony Joanny ze Steinów, poślubionej w 1737. Pracami kierował Karol Henryk Wiedemann. Pałacyk uzyskał w efekcie modną w tym czasie formę maison de plaisance. W jego otoczeniu znajdował się rozległy ogród z oranżerią, zwierzyńcem i altaną w stylu chińskim.