W I poł. XIX wieku stał się własnością arcyksięcia Albrechta Habsburga, właściciela dóbr w Żywcu i przedostatniego księcia cieszyńskiego. Zlecił on przebudowę Dworu Lipnickiego w stylu późnoklasycystycznym, w wyniku której całkowicie zatarty został pierwotny kształt budynku (stał się typowym pałacem), a także utworzył wokół niego rozległy park.
W 1885 r. Habsburg najpierw wydzierżawił, a następnie podarował pałac Zgromadzeniu Córek Bożej Miłości, założonemu w 1868 r. w Wiedniu. W Lipniku powstała pierwsza placówka tego zakonu na ziemiach polskich.
W 1896 r. nastąpiła przebudowa pałacu według projektu Emanuela Rosta juniora. Podwyższono go wówczas o jedno piętro, a od strony południowej dobudowano kaplicę św. Hildegardy. Odtąd Dwór Lipnicki jest budynkiem na planie prostokąta z czterospadowym dachem, a środek fasady zaakcentowany jest portalem i dekoracją okien.