Ustąpił z ostatniego z tych stanowisk na skutek konfliktu z premierem. W czerwcu 1991 zastąpił Yıldırıma Akbuluta na funkcji przewodniczącego partii, a następnie w tym samym miesiąc również na stanowisku premiera. Urząd ten sprawował do listopada tegoż roku, gdy po przegranych przez ANAP wyborach na czele rządu stanął Süleyman Demirel z Partii Słusznej Drogi (DYP).
W kolejnych wyborach z 1995 pierwsze miejsce zajęli islamiści Necmettina Erbakana. ANAP podpisała wówczas porozumienie z DYP ustępującej premier Tansu Çiller celem utworzenia koalicji z rotacyjnym premierem. W konsekwencji w marcu 1996 Mesut Yılmaz ponownie stanął na czele gabinetu. Ustąpił już w czerwcu tegoż roku, gdy koalicjant zagroził zgłoszeniem wniosku o wotum nieufności. Kolejny rząd (tworzony przez partie Necmettina Erbakana i Tansu Çiller) ustąpił po około roku pod naciskiem wojskowych. Mesut Yılmaz w czerwcu 1997 po raz trzeci został premierem, tworząc gabinet wspierany przez ANAP, Partię Lewicy Demokratycznej Bülenta Ecevita i powstałą w wyniku rozłamu w DYP partię DTP Hüsamettina Cindoruka. W listopadzie 1998 przegłosowano wobec niego wotum nieufności, zakończył urzędowanie w styczniu 1999.