Po odbyciu kary, w okresie 1935–1937 Leber został objęty aresztem prewencyjnym (niem. Schutzhaft) i był więziony kolejno w Esterwegen i Sachsenhausen. Po wyjściu z obozu, Leber przyłączył się do opozycji, działając pod przykrywką jako handlarz węglem i uzyskując pomoc .
Współpraca ze spiskowcami 20 lipca W 1940 r. Leber nawiązał kontakt z opozycjonistami w kręgach Wehrmachtu i poznał Clausa von Stauffenberga. Pozostawał w kontakcie również z Carlem Goerdelerem oraz członkami Kręgu z Krzyżowej wokół hrabiego von Moltke. Plany Lebera odnośnie do przyszłych Niemiec zachowały się jedynie szczątkowo – Leber był zdania, że reżim nazistowski obalić powinien szeroki ruch społeczny, obejmujący również opozycjonistów z obozu komunistów, a po przejęciu władzy, w Niemczech powinien rozwinąć się system dwupartyjny.
W razie powodzenia zamachu na Adolfa Hitlera 20 lipca 1944, Leber miał objąć stanowisko ministra spraw wewnętrznych w planowanym rządzie Goerdelera. Von Stauffenberg popierał kandydaturę Lebera na kanclerza Niemiec. Według Giseviusa Leber miał zbyt lewicowe poglądy, by kandydować na to stanowisko.