Podczas soboru watykańskiego I prowadził aktywną działalność na rzecz utrzymania świeckiej władzy papieża.

Od całkowicie ugodowej polityki Ledóchowski odszedł dopiero w okresie kulturkampfu, gdy w 1873 nie zgodził się na zniesienie języka polskiego w nauce religii, a także mianował urzędników diecezjalnych wbrew zaleceniom władz niemieckich. Nie zgodził się również na państwową kontrolę kształcenia księży, co doprowadziło do zamknięcia seminariów w Poznaniu i Gnieźnie. Pomimo wysokich kar finansowych nie zaprzestał działalności na rzecz utrzymania niezależności Kościoła od państwa, co doprowadziło w końcu do uwięzienia go w 1874 w Ostrowie Wielkopolskim. Uwięzienie sprawiło, że stał się bardzo popularny wśród polskich diecezjan. Jego polityka przez cały ten czas była wspierana przez papieża, co zostało potwierdzone nadaniem mu w 1875 godności kardynała z kościołem tytularnym Santa Maria in Ara coeli. Nominację kardynalską miał mu potajemnie dostarczyć ks. Edmund Radziwiłł. Kardynałów, w myśl prawa niemieckiego traktowano na równi z członkami rodziny królewskiej i nie można ich było więzić, więc w 1876 zwolniono arcybiskupa, nakazując jednocześnie opuszczenie kraju. Ledóchowski udał się do Watykanu, skąd zarządzał diecezjami przez tajnych delegatów.