Do wybuchu wojny secesyjnej mieszkał w Indianie. W roku 1841 ukończył U.S. Military Academy i otrzymał stopień podporucznika wraz z przydziałem do 3 Regimentu Piechoty. W czasie wojny z Meksykiem służył pod rozkazami generałów Zachary’ego Taylora i Winfielda Scotta. Był trzykrotnie awansowany i odniósł rany pod Churubusco. W czasach pokojowych pracował w biurze adiutantury generalnej US Army jako adiutant ds. Kalifornii, a w roku 1851 otrzymał awans na kapitana.
Wojna secesyjna Na początku wojny secesyjnej Buell był współorganizatorem Armii Potomaku i krótko dowodził jedną z jej dywizji. W lipcu 1861 roku otrzymał awans na generała-brygadiera ze starszeństwem od 17 maja. W listopadzie zastąpił gen. bryg. Williama Tecumseha Shermana na stanowisku komendanta Departamentu Ohio w Louisville w stanie Kentucky. Departamentowi Buella podlegała nowo powstała Armia Ohio (później przemianowana na Armię Cumberlandu). Dowódcy oczekiwali od Buella, że będzie operował we wschodnim Tennessee, gdzie najwięcej było sympatyków Unii, które to terytorium uważane było za politycznie istotny czynnik w toczącej się wojnie. Tymczasem Buell zlekceważył sugestie i rozkazy i w zamian ruszył na czele 50-tysięcznej armii na Nashville, zajmując je 25 lutego 1862 roku prawie bez oporu (gdy gen. bryg.