Od 1 września 1987 do 1 listopada 1992 zajmował stanowisko dyrektora generalnego w Ministerstwie Spraw Wewnętrznych. Następnie powrócił do władz samorządowych, od 1 listopada 1992 do 16 lutego 1999 pełnił funkcję burmistrza Utrechtu. Od 16 lutego 1999 do 1 stycznia 1999 był natomiast burmistrzem Rotterdamu. Od 4 listopada 2009 do 16 lipca 2010 wykonywał tymczasowo obowiązki burmistrza Tilburga.
W latach 1986–1993 pełnił funkcję wiceprzewodniczącego VVD. 23 maja 2008 objął stanowisko przewodniczącego partii, zajmował je do 2010.
4 sierpnia 2010 został mianowany przez królową Beatrix na funkcję informateura celem prowadzenia negocjacji mających wyłonić nowy rząd po wyborach parlamentarnych z czerwca 2010. 14 października tego samego roku objął urząd ministra sprawiedliwości w rządzie Marka Rutte. Pozostał na tym stanowisku również w powołanym 5 listopada 2012 drugim gabinecie dotychczasowego premiera. Zrezygnował 10 marca 2015, gdy ujawniono, że wprowadził w błąd parlament w sprawie dokonanego w 2000 zwrotu skonfiskowanego majątku narkotykowego barona.