Podczas wicegubernatorskiej służby Rybnikow nabył majątki w powiecie kaliskim (Dębe, Tykadłów), powiecie kolneńskim (Osiny) i w powiecie częstochowskim (Jaskrów).
Według historyka Edwarda Polanowskiego, Rybnikow poprzez swoją teściową był spowinowacony z Polakami, jego dzieci uczyły się w języku polskim, syna Siergieja (który po 1918 został na stałe w Polsce) uczyła m.in. Julia Leszczyńska, ciotka Marii Konopnickiej. Wyraźne propolskie sympatie miały prawdopodobnie duży wpływ na Michaiła Daragana, gubernatora kaliskiego od 1883.
Pawieł Rybnikow zmarł 17 listopada 1885 w Kaliszu, został pochowany na miejscowym cmentarzu grecko-prawosławnym.
Rodzina Dnia 9 czerwca 1861 Pawieł Rybnikow ożenił się z Andżeliką Olgą Appolonią von Stempel (Sztempel, ur. 1840, zm. 1911 w Kole), córką generała-majora, barona Leopolda Gabriela Reinholda von Stempel (1815-1880) oraz Andżeliki Anety de Saint-Laurent, której dziadek także był generałem armii rosyjskiej. Babka żony Rybnikowa, Ludwika wywodziła się z polskiej rodziny Jakubowskich z Ostrożca na Wołyniu. Po śmierci Pawła Rybnikowa jego żona wraz z dziećmi osiadła na stałe w majątku Sacały nad Wartą, zakupionym w 1872.