W 2005 z ramienia Platformy Obywatelskiej w okręgu krakowskim został wybrany do Senatu, kandydując za namową Jana Rokity. Po rezygnacji Jana Rokity ze startu w wyborach parlamentarnych w 2007 został umieszczony na pierwszym miejscu listy PO do Sejmu, po czym wstąpił do partii. Uzyskał mandat poselski, otrzymując 160 465 głosów. Wkrótce po wyborach wszedł w skład zarządu krajowego Platformy Obywatelskiej (zasiadał w nim do października 2010). W wyborach w 2011 z powodzeniem ubiegał się o reelekcję, dostał 62 570 głosów.
18 listopada 2011 prezydent Bronisław Komorowski powołał go na urząd ministra sprawiedliwości w drugim rządzie Donalda Tuska. W tej roli był odpowiedzialny m.in. za przygotowanie tzw. ustawy deregulacyjnej. 29 kwietnia 2013 premier zapowiedział odwołanie Jarosława Gowina ze stanowiska ministra sprawiedliwości. Do odwołania przez prezydenta doszło tydzień później.