Obecny pałac został wzniesiony na przełomie XVII i XVIII wieku, lecz obecny kształt i wygląd nadała mu gruntowna przebudowa i modernizacja z 1861 roku. Z pierwotnej budowli pozostały jedynie balustrady przy tarasie zachodnim, zdobione płaskorzeźbami z piaskowca oraz zdobione ornamentem barokowym balustrady przy niewielkim tarasie od strony wschodniej. Dostępne dane mówią, iż w 1889 cały majątek wynosił 1235 ha.
Pałac pozostał w rękach rodu von der Groebenów do ofensywy radzieckiej w Prusach Wschodnich w 1945. W tym samym roku, najprawdopodobniej na przełomie stycznia i lutego, po zajęciu Łabędnika 30 stycznia, przebywały w nim wojska radzieckie.
Po II wojnie światowej w majątku utworzono biura i mieszkania na potrzeby PGR-u. W latach 1987–1991 pałac został gruntownie odrestaurowany. Aktualnie znajduje się w prywatnych rękach i jest dobrze utrzymany.
Architektura Zespół pałacowy składa się z pałacu, parku krajobrazowego oraz licznej zabudowy gospodarczej.