W 1957 objął mandat deputowanego Bundestagu, w niższej izbie niemieckiego parlamentu zasiadał do 1987.
W 1960 został wybrany do zarządu federalnego CDU. W grudniu 1962 powołany na urząd ministra stosunków wewnątrzniemieckich w rządzie Konrada Adenauera, stanowisko to zajmował do października 1963. Od 1964 do 1973 był przewodniczącym parlamentarnej frakcji CDU/CSU. W październiku 1971 objął funkcję przewodniczącego partii, pokonując w głosowaniu Helmuta Kohla. W 1972 był kandydatem chadeków na kanclerza Niemiec, jednak nie zdołał objąć tego urzędu. W czerwcu 1973 przestał kierować partią, zastąpił go wówczas Helmut Kohl. W tym samym roku rozpoczął pracę w kancelarii prawniczej.
Od 1980 do 1982 był przewodniczącym Komisji Spraw Zagranicznych Bundestagu. Od października 1982 do marca 1983 sprawował ponownie funkcję ministra stosunków wewnątrzniemieckich w gabinecie Helmuta Kohla. 29 marca 1983 został wybrany na przewodniczącego Bundestagu. Funkcję tę pełnił do 25 października 1984. Zrezygnował z niej w związku ze skandalem politycznym nazwanym Flick-Affäre. Kierowane wobec niego zarzuty nie zostały potwierdzone, Rainer Barzel zrezygnował jednak z kandydowania do Bundestagu w 1987. Zajmował się w późniejszych latach działalnością komentatorską i publicystyczną.