W latach 50. pojawił się w takich serialach telewizyjnych jak Armstrong Circle Theatre i Schlitz Playhouse, a także The Big Story, Maverick i Rawhide. Zadebiutował na kinowym ekranie jako porucznik Marshall w dramacie wojennym Lewisa Milestone’a Wzgórze Pork Chop (Pork Chop Hill, 1959) o wojnie koreańskiej z Gregorym Peckiem. Swój pierwszy większy sukces odniósł w roli homoseksualnego poplecznika złoczyńcy w dreszczowcu Alfreda Hitchcocka Północ, północny zachód (North by Northwest, 1959) u boku Cary’ego Granta. Landau miał kwitnącą karierę, grając gościnne role w serialach telewizyjnych przerywanych sporadycznymi rolami filmowymi. Grał rzymskiego generała w Kleopatrze (1963), Kajfasza w Opowieściach wszech czasów (1965) i Wodza Krzywe Nogi w westernie komediowym Johna Sturgesa Na szlaku Alleluja (1965). Największą popularność przyniosła mu rola mistrza kamuflażu Rollina Handa w serialu CBS Mission: Impossible (1966–1969), za którą otrzymał nagrodę Złotego Globu i trzykrotnie był nominowany do nagrody Emmy. Pojawił się także gościnnie w jednym z odcinków serialu NBC Columbo (1973).