W 1995 po raz pierwszy wybrano go w skład Senatu. W trakcie wyborów prezydenckich w tym samym roku poparł kandydaturę Jacques’a Chiraca. Wziął w tym samym czasie udział w powołaniu Partii Ludowej na rzecz Demokracji Francuskiej, ugrupowania działającego w ramach UDF i skupiającego zwolenników nowego prezydenta. Po zwycięstwie Jacques’a Chiraca objął stanowisko ministra ds. średniej i małej przedsiębiorczości, handlu i przemysłu morskiego w rządzie Alaina Juppé. Funkcję tę pełnił do 1997, w tym samym roku powrócił do sprawowania mandatu senatora.
W 1998 opuścił PPDF, przystąpił wówczas do Demokracji Liberalnej, która odeszła z UDF i podjęła bliższą współpracę z gaullistowskim Zgromadzeniem na rzecz Republiki.
Po reelekcji Jacques’a Chiraca w wyborach w 2002 i dymisji socjalistycznego premiera, Lionela Jospina, 6 maja 2002 Jean-Pierre Raffarin stanął na czele pierwszego swojego rządu. Współtworzył Unię na rzecz Większości Prezydenckiej (przekształconej wkrótce w Unię na rzecz Ruchu Ludowego). 17 czerwca 2002, po jej wygranej w wyborach parlamentarnych, został po raz drugi premierem.