W 2002 po raz pierwszy został posłem do Rady Narodowej. Wybierany do austriackiego parlamentu również w 2006 i 2008. 28 lutego 2003 Josef Pröll objął stanowisko ministra rolnictwa, leśnictwa, środowiska naturalnego i zasobów wodnych w gabinecie kanclerza Wolfganga Schüssela. 11 stycznia 2007 pozostał na tym stanowisku w kolejnym rządzie kierowanym przez socjaldemokratę Alfreda Gusenbauera.
29 września 2008, po największej w historii ÖVP porażce wyborczej w przedterminowych wyborach parlamentarnych, został mianowany nowym przewodniczącym Austriackiej Partii Ludowej.
8 października 2008 prezydent Heinz Fischer powierzył liderowi zwycięskiej SPÖ Wernerowi Faymannowi misję stworzenia nowego rządu. SPÖ rozpoczęła rozmowy na temat utworzenia kolejnej tzw. wielkiej koalicji z ÖVP. 23 listopada 2008 Josef Pröll oraz Werner Faymann podpisali porozumienie koalicyjne. Następnego dnia przedstawiono skład przyszłego gabinetu. Josefowi Pröllowi przypadły urzędy wicekanclerza i ministra finansów.