Więzienie i katorga W 1844 został przełożonym klasztoru w Mariampolu, który stał się ważnym ośrodkiem ruchu narodowego. Zakonnicy zaangażowali się w sprowadzanie zakazanej literatury patriotycznej z Prus i Francji. W 1846 Szwernicki został aresztowany i przewieziony do warszawskiej Cytadeli, pod zarzutem rozpowszechniania zakazanych książek. W Cytadeli więziono go przez pięć lat i poddano okrutnemu śledztwu. 28 sierpnia 1850 r. wyrokiem sądu wojskowego został skazany na bezterminową katorgę na Syberii. Wyrok ten został później zamieniony na zamieszkanie w Guberni irkuckiej pod dozorem policyjnym, bez pozbawiania skazanego praw cywilnych i kapłańskich. 14 maja 1852 dotarł do Irkucka, gdzie miał pełnić posługę duchową w miejscowym kościele.
Proboszcz parafii irkuckiej Po śmierci miejscowego proboszcza ks. Hacickiego, w 1856 stanął na czele parafii Wniebowzięcia Najświętszej Maryi Panny w Irkucku, która była w tym czasie największą parafią katolicką na świecie (od Arktyki do granicy z Chinami). Mimo zgody władz rosyjskich na powrót do ojczyzny, Szwernicki zdecydował się pozostać w Irkucku i prowadzić działalność duszpasterską wśród polskich zesłańców. W 1859, za zgodą generał-gubernatora Nikołaja Murawiowa udał się w podróż po Syberii, aby zapewnić posługę duchową dla żołnierzy wyznania katolickiego.