W 1878 jako jedyny kardynał polski w XIX wieku wziął udział w konklawe, podczas dwóch pierwszych głosowań otrzymał po jednym głosie. Głosował na niego belgijski prymas kardynał Victor August Dechamps, który w ten sposób chciał uhonorować jego postawę podczas uwięzienia. Został bliskim współpracownikiem wybranego wówczas papieża Leona XIII. W latach 1884–1885 stał na czele Sekretariatu ds. Memoriałów, a 1885–1892 na czele Sekretariatu ds. Brewe Apostolskich. Gdy rozpoczęły się negocjacje między Niemcami a Watykanem, kardynał musiał się w 1886 zrzec arcybiskupstw. Pozostał w Watykanie, pełniąc różnorodne stanowiska, w tym od 1892 prefekta Kongregacji Rozkrzewiania Wiary. Pomimo zrzeczenia się godności metropolity poznańskiego i gnieźnieńskiego nadal interesował się życiem politycznym Wielkopolski, wspierając nurty konserwatywne i ugodowe, co przyczyniło się do złagodzenia pod koniec jego życia konfliktu z władzami niemieckimi. W 1896 został protoprezbiterem Kolegium Kardynałów z kościołem tytularnym San Lorenzo in Lucina, zyskując tym samym prawo promocji do rangi kardynała biskupa pierwszej wakującej diecezji suburbikarnej. Odmówił jednak skorzystania z tego prawa, twierdząc, że po wymuszonej rezygnacji z archidiecezji poznańskiej i gnieźnieńskiej, nie chce być już biskupem żadnej diecezji.