Te poglądy spowodowały spór ministra z Henrym Dundasem, który opowiadał się za przyznaniem priorytetu walkom na morzach i w koloniach. W latach 1790–1793 Grenville był ponadto przewodniczącym Rady Kontroli. W 1794 podpisał traktat Jaya.
Grenville odszedł z gabinetu wraz z Pittem w 1801 r., po nieudanej próbie uchwalenia ustawy o równouprawnieniu katolików. W następnych latach Grenville związał się z opozycyjnym stronnictwem wigów, kierowanym przez Charlesa Jamesa Foxa. Kiedy Pitt powrócił do władzy w 1804 r., Grenville nie objął żadnego stanowiska w jego rządzie. Po śmierci Pitta w 1806 r. stanął na czele tzw. Gabinetu Wszystkich Talentów, w skład którego wchodzili stronnicy Grenville’a, wigowie związani z Foxem oraz stronnicy byłego premiera lorda Sidmoutha. Gabinet nie odniósł większych sukcesów, nie udało mu się zawrzeć pokoju z Francją i przeprowadzić równouprawnienia katolików. Jego największym osiągnięciem był zakaz handlu niewolnikami w Imperium Brytyjskim, uchwalony w 1807 r.