Następnie wrócił do Paryża, do żony i córki, gdzie powierzono mu formowanie tajnych jednostek wojskowych.

II wojna światowa W 1941 został adiutantem Alberta Ouzouliasa ps. „Marc”, dowódcy „Batalionów Młodzieży”, wchodzących w skład komunistycznych podziemnych jednostek wojskowych – OS, a następnie FTP. Zdobył sławę w podziemiu, dokonując 21 sierpnia 1941 udanego zamachu na Alfonsa Mosera, oficera hitlerowskiego, którego zastrzelił na stacji metra Barbès – Rochechouart. Był to pierwszy udany zamach ruchu oporu na znacznego nazistę, który kosztował jednak egzekucje licznych zakładników cywilnych.

6 maca 1942 uciekł z paryskiego aresztu i 8 marca wyjechał do Franche-Comté, gdzie organizował jednostki maquis FTPF pod pseudonimem „Kapitan Henri”. Ciężko ranny w głowę 25 października 1942, został w miesiąc później zatrzymany przez francuską policję i wydany w ręce niemieckie. Przez trzy miesiące był przetrzymywany i torturowany we Fresnes. W tym czasie dwukrotnie próbował popełnić samobójstwo, mimo tortur nie zdradził Gestapo żadnych nowych informacji. Następnie został przewieziony do więzień w Dijon i w Romainville, skąd uciekł w maju 1943. Ukrywał się w Aubervilliers, gdzie dochodził do zdrowia po brutalnym śledztwie.