Po ukończeniu Akademii Wojennej, został w 1935 roku w stopniu kapitana członkiem wydziału operacyjnego Sztabu Generalnego Dowództwa Sił Lądowych III Rzeszy. W czasie agresji na Polskę) był szefem sztabu 213 Dywizji Piechoty w stopniu majora, a podczas niemieckiej agresji na Francję pełnił funkcję oficera łącznikowego przy 16 Armii. W czerwcu 1940 roku został adiutantem szefa Sztabu Generalnego Franza Haldera, by w październiku 1940 objąć kierownictwo sekcji wschodniej w wydziale operacyjnym sztabu armii.
Jako oficer wydziału operacyjnego był jednym ze współautorów planu ataku III Rzeszy na ZSRR. W kwietniu 1942 w stopniu podpułkownika przejął kierowanie wydziałem Obce Armie WschódCzęść Abteilung Fremde Heere – wywiad płytki OKH. (niem. Fremde Heere Ost) w Sztabie Generalnym Wojsk Lądowych (OKH), który miał siedzibę w Mamerkach (w czasie pobytu Hitlera w Wilczym Szańcu). W grudniu 1944 awansowany do stopnia generała-majora. Gehlen przebywał zwykle w Mamerkach, chociaż jego placówka wywiadu znajdowała się w Twierdzy Boyen w Giżycku. Tam zbierano informacje na tematy związane z sytuacją wojskową i przygotowywano agentów na teren ZSRR. Według J. ThorwaldaAutora książki Iluzja. Żołnierze radzieccy w armii Hitlera.