W 2015 ponownie wybrany do parlamentu. Otrzymał misję utworzenia nowego gabinetu. Ostatecznie umowę koalicyjną podpisały Estońska Partia Reform, Partia Socjaldemokratyczna oraz centroprawicowy Związek Ojczyźniany i Res Publica. 8 kwietnia 2015 ogłoszono listę ministrów. Drugi rząd Taaviego Rõivasa rozpoczął urzędowanie 9 kwietnia tegoż roku po dokonaniu zaprzysiężenia. 9 listopada tegoż roku gabinet przegrał w parlamencie głosowanie nad wotum nieufności, gdy doszło do rozpadu koalicji. 23 listopada 2016 nowym premierem został Jüri Ratas. W styczniu 2017 na funkcji przewodniczącego partii zastąpił go Hanno Pevkur. Po odejściu z rządu był wiceprzewodniczącym parlamentu, zrezygnował jednak w październiku 2017, gdy zarzucono mu napastowanie seksualne podczas delegacji do Malezji. W 2019 utrzymał mandat deputowanego do Riigikogu na kolejną kadencję.
W 2020 ogłosił rezygnację z zasiadania w parlamencie i wycofanie się z polityki. Założył firmę zajmującą się doradztwem biznesowym.
Życie prywatne Oprócz języka estońskiego deklaruje znajomość języków angielskiego, fińskiego i rosyjskiego.