Od 1904 do 1908 był członkiem rady powierniczej National Gallery w Londynie.
Gubernator Wiktorii W 1908 został mianowany gubernatorem Wiktorii. Było to stanowisko w dużej mierze ceremonialne, ponieważ od 1901 Wiktoria nie była już kolonią brytyjską, lecz jednym ze stanów Związku Australijskiego. Dał się poznać jako człowiek o bystrej inteligencji i błyskotliwym humorze, często autoironicznym, jednak nie najlepiej wypadający jako publiczny mówca. W Wiktorii najchętniej angażował się w działania związane z życiem wsi i rolników, w środowiskach miejskiej elity cieszył się natomiast opinią wytrawnego kolekcjonera sztuki.
Indie W 1911 został przeniesiony do Indii, gdzie został administratorem kolonialnym mającym realny wpływ na zarządzanie podległym mu obszarem. Początkowo obszarem tym był Madras i otaczające go tereny, zaś w latach 1912-1917 Bengal.
Izba Lordów W 1912 został kreowany parem dziedzicznym jako 1. baron Carmichael of Skirling, co automatycznie dało mu miejsce w Izbie Lordów, które objął po powrocie do kraju w 1917 roku. Od 1923 aż do śmierci powtórnie zasiadał w radzie powierniczej National Gallery. Zmarł bezpotomnie w styczniu 1926, przeżywszy 66 lat. Tym samym jego tytuł parowski wygasł.