W latach 1937–1938 odbył tournée po Skandynawii, Holandii i Włoszech.

alt=|mały|Karajan dyrygujący Filharmonikami Wiedeńskimi (1941) Przełomowym momentem w jego karierze było poprowadzenie w 1939 roku w berlińskiej operze Czarodziejskiego fletu Mozarta i Śpiewaków norymberskich Wagnera. Dzięki temu sukcesowi i poparciu nazistów został w 1941 r. dyrektorem Staatsoper Unter den Linden. Jego nazwisko figurowało na Gottbegnadeten-Liste („Lista obdarzonych łaską Bożą” w III Rzeszy). Twierdził, że w 1942 r. wystąpił z NSDAP, ale dostępne dokumenty dowodzą, że był członkiem partii co najmniej do maja 1944 roku. Brak informacji, by kiedykolwiek z niej wystąpił. Po drugiej wojnie światowej za przynależność do NSDAP ukarany został zakazem występów, cofniętym w 1947 r. W czasie tej przerwy nagrał wiele płyt z nowo założoną London Philharmonic Orchestra. W styczniu roku 1946 koncertował z Wiener Philharmoniker. W 1947, jako dyrygent, a od 1949, jako dyrektor Towarzystwa Przyjaciół Muzyki, prowadził Symfoników Wiedeńskich. W 1949 roku dyrygował na Festiwalu w Salzburgu, w 1950 na Festiwalu w Bayreuth. W tymże 1950 został kierownikiem artystycznym Philharmonia Orchestra w Londynie. W latach 1951–1952 był gościnnym dyrygentem w Bayreuth. W 1954 objął kierownictwo Berliner Philharmoniker po śmierci Wilhelma Furtwänglera.