Od strony ogrodu środkowy ryzalit miał formę półkolistą.

W latach 1909–1911 Karol Świacki dobudował do lewego skrzydła pałacu ośmioboczną wieżę zaprojektowaną przez poznańskiego architekta Władysława Mieczkowskiego. Na parterze wieży była obszerna łazienka, na pierwszym piętrze – duża pracownia rzeźbiarska Stanisława, syna Karola. Każda cegła rozbudowanej przez Karola części miała jego monogram („KS”).

Układ wnętrz pałacu był początkowo dwutraktowy, później stał się nieregularny. Łącznie było 18 pomieszczeń różnej wielkości.

Wśród kolekcji znajdujących się w pałacu było kilka cenniejszych obrazów, w tym pędzla Walentego Wańkowicza (stryjecznego dziadka Karola) (obraz przedstawiający Napoleona patrzącego na pożar Moskwy, ocalał i znajduje się obecnie w zbiorach Muzeum Narodowego w Warszawie), Leona Wyczółkowskiego, Romana Szwoynickiego, Władysława Majewskiego czy Artura Bartelsa. Biblioteka liczyła 3 tysiące tomów.

Niewielki park miasł charakter ogrodu krajobrazowego zamkniętego kwadratem alei lipowych, na wzór staropolski. Po obu stronach pałacu były duże gazony.

W latach 1903–1904 w pałacu Świackich pracował młody wtedy Janka Kupała. W 1972 roku wmurowano na jednej ze ścian tablicę upamiętniającą 90.