Alojzy był członkiem Rady Najwyższej Rządowej Litewskiej w czasie powstania kościuszkowskiego, więc po jego upadku musiał uchodzić na emigrację, a majątek przejął po nim jego syn, Kazimierz Sulistrowski (1778–1818), marszałek szlachty guberni wileńskiej, mąż Karoliny Abramowiczówny. Ich syn, Aleksander Sulistrowski (1807–1872) był chory psychicznie i odebrano mu majątek, który dostał się w ręce jego siostry, Konstancji (1806–1845), która wyszła za Aleksandra Skirmunta (1798–1870), wnosząc mu Szemetowszczyznę w posagu. Kolejnym dziedzicem był od 1872 roku ich syn Konstanty (1828–1880), żonaty z Gabrielą Umiastowską (1839–1922). Ostatnimi właścicielami majątku do 1939 roku byli: syn Konstantego i Gabrieli, Bolesław Skirmunt (1869–1941) i jego żona Gabriela z Chłapowskich (1873–1942).