W latach 1878–80 pełnił urząd ministra spraw wewnętrznych.
Po tragicznej śmierci prezydenta Juan Bautisty Gilla w wyniku zamachu w 1877, generał Caballero pomógł swojemu przyjacielowi, Cándido Barreiro ugruntować zdobyte stanowisko prezydenta. Niedługo po śmierci Barreiry w 1880, Caballero przeprowadził zamach stanu i zagarnął prezydenturę dla siebie. Jako że kraj był obciążony wysokim deficytem budżetowym, Caballero przeprowadził prywatyzację większości państwowych majątków ziemskich, zdobywając w ten sposób fundusze.
W 1886 Caballero sfałszował wyniki wyborów prezydenckich, by zapewnić zwycięstwo swojemu sprzymierzonemu kandydatowi, Patricio Escobarowi. W reakcji na fałszerstwo, przeciwnicy generała powołali do życia Partię Liberalną. Caballero wkrótce założył własną Partię Colorado. Po opuszczeniu urzędu prezydenta, Caballero nadal posiadał ogromne wpływy polityczne, ponieważ był głównym dowódcą armii. Faworyzowani przez niego politycy sprawowali władzę w Paragwaju aż do roku 1894, gdy Juan Bautista Eguzquiza obalił rząd Juana Gualberto Gonzáleza. Caballero zorganizował kolejny przewrót w roku 1902. Utorował wtedy drogę do władzy Juanowi Antoniemu Escurrze.