W 1856 (niektóre źródła podają 1853) Tytus Działyński, w związku z nadchodzącym ślubem swojego syna Jana Kantego z Izabellą z Czartoryskich Działyńską (córką księcia Adama Jerzego Czartoryskiego) zakupił to, co pozostało z Gołuchowa, z przeznaczeniem na przyszłą siedzibę nowożeńców. Małżeństwo było aranżowane i było „białe”.
Ponieważ Jan Działyński finansował i organizował powstanie styczniowe na terenie Wielkopolski, upadek powstania i zaoczny wyrok skazujący wydany na niego przez władze pruskie (uchylony dopiero w 1871) zmusił go do emigracji. Dla zabezpieczenia Gołuchowa przed konfiskatą, Izabella formalnie odkupiła zamek z rąk Działyńskich (de facto zamek stanowił zastaw pożyczek udzielonych Działyńskiemu przez Czartoryskich) i w latach 1875–1885 przeprowadziła gruntowną odbudowę połączoną z remontem. Przebudowa dokonana została częściowo według szkiców Eugène Viollet-le-Duca oraz polskiego architekta Zygmunta Gorgolewskiego. Autorem ostatecznego projektu był Francuz, Maurycy August Ouradou.