W kwietniu 1931 Irwin zrezygnował ze stanowiska i wrócił do Wielkiej Brytanii.

thumb|left|Lord Halifax i Hermann Göring, 1937 W 1932 ponownie został przewodniczącym Rady Edukacji. W 1933 został wybrany kanclerzem Uniwersytetu Oksfordzkiego. Po śmierci ojca w 1934 odziedziczył tytuł 3. wicehrabiego Halifaksu. W 1935 został na krótko ministrem wojny, a następnie przewodniczącym Izby Lordów (był nim do 1940) i lordem tajnej pieczęci (do 1937). 1937–1938 był Lordem Przewodniczącym Rady. W listopadzie 1937 wyjechał do Niemiec, gdzie spotkał się z Adolfem Hitlerem. Po rezygnacji Edena ze stanowiska ministra spraw zagranicznych w 1938, Halifax zajął jego miejsce na czele Foreign Office.

Jako minister spraw zagranicznych w pełni popierał prowadzoną przez premiera Chamberlaina politykę appeasementu. W 1940 był jednym z kandydatów do zastąpienia Chamberlaina na stanowisku premiera, ale ostatecznie na czele rządu stanął Winston Churchill. Halifax pozostał na dotychczasowym stanowisku, został również ponownie przewodniczącym Izby Lordów. Jednak jesienią 1940 został wysłany do Waszyngtonu, gdzie został brytyjskim ambasadorem. W 1945 był brytyjskim delegatem na konferencji w San Francisco, gdzie podpisano Kartę Narodów Zjednoczonych. Do Wielkiej Brytanii wrócił w 1946.