We wrześniu 1950 roku został aresztowany i skazany. Czas do września 1953 spędził w więzieniu. Po opuszczeniu więzienia krótko przebywał w Łodzi (mieszkała tam jego żona) i Wałbrzychu. W latach 1954–1956 mieszkał w Stąporkowie, gdzie zatrudnił się w nadleśnictwie Miedzierza. Tam zmarła jego pierwsza żona. Miejscowe UB założyło na niego sprawę o kryptonimie „Morze”, zamkniętą w grudniu 1956 wobec niestwierdzenia wrogiej działalności. W materiałach sprawy brak informacji o głoszonych przezeń poglądach neopogańskich, a występuje tam jako pastor metodystów.
W 1956 przeniósł się do Warszawy, gdzie zawarł nowy związek małżeński i zamieszkał na stałe, otrzymując rentę inwalidzką. W 1957 został zrehabilitowany.
Ostatnią próbę rejestracji wyznania neopogańskiego podjął w 1965 roku. Wystąpił wówczas o zgodę na utworzenie Lechickiego Stowarzyszenia Czcicieli Światowida. Po rozpatrzeniu wniosku prośbę odrzucono, uzasadniając to w następujący sposób:
Drzewidzi kontynuowali swoją działalność nielegalnie aż do końca lat siedemdziesiątych, gdy podjęli kolejną nieudaną próbę rejestracji. Grupa organizowała spotkania w Łazienkach, przy Ogrodzie Botanicznym w Warszawie. Czytano tam poezję, śpiewano pieśni i zapalano znicz na świętym kamieniu.