Gilmour dał się poznać jako zwolennik zniesienia kary śmierci, depenalizacji aborcji i homoseksualizmu oraz członkostwa Wielkiej Brytanii w EWG. W rządzie Edwarda Heatha pełnił różne funkcje w ministerstwie obrony. Najpierw był parlamentarnym podsekretarzem stanu ds. armii (1970–1971), ministrem stanu ds. zamówień obronnych (1971–1972), ministrem stanu ds. obrony (1972–1974) i wreszcie ministrem obrony (1974). Od 1973 r. był również członkiem Tajnej Rady.
Po przegranych przez konserwatystów wyborach 1974 r. Gilmour został członkiem Conservative Research Department. Razem z Chrisem Pattenem odpowiadał za przygotowanie manifestu wyborczego konserwatystów na wybory w październiku 1974 r., które jednak zostały przez Partię Konserwatywną przegrane. Kiedy liderem konserwatystów została Margaret Thatcher Gilmour został ministrem spraw wewnętrznych w gabinecie cieni, w 1976 r. głównym mówcą opozycji ds. obrony. W rządzie Thatcher od 1979 r. pełnił funkcję Lorda Tajnej Pieczęci i reprezentował rząd w Izbie Gmin, odpowiadając za sprawy zagraniczne. Zastępował w Izbie Gmin ministra spraw zagranicznych, lorda Carringtona, który działał w Izbie Lordów.