W 1812 dwór stał się własnością najstarszego syna Jakuba Paschalisa Józefa Paschalisa Jakubowicza. Potem Lipków należał do rodzin Miecznikowskich, Worowskich, Młodzianowskich i od 1880 roku do Kazimierza Szetkiewicza, późniejszego teścia Henryka Sienkiewicza. W latach 1881–1883 Sienkiewicz wielokrotnie odwiedzał dwór w Lipkowie. Okolice dworu upamiętnił (podobno na prośbę swojej żony Maryni) w powieści Ogniem i mieczem. Tam odbył się pojedynek Jurka Bohuna z Michałem Wołodyjowskim. Ksiądz Wacław Kurowski założył we dworze prywatne muzeum historii Lipkowa i jego związków z Sienkiewiczem, jednak zawiesiło ono swoją działalność.
W 1909 roku jego właścicielem był Gustaw Daszkiewicz, następnie Ludwik Suwald. W latach 20. XX wieku majątek Lipków liczył 198 hektarów. Ostatnim właścicielem dworu był Jerzy Suwald. W czasie II wojny światowej obiekt zajmowało wojsko niemieckie, potem został znacjonalizowany.