Po ukończeniu słynnej Abraham Lincoln High School poborowy Herbert Jay Solomon rozpoczął w 1948 czteroletnią służbę w US Army. Stacjonując ze swoją jednostką w Trieście we Włoszech, grał na saksofonie w orkiestrze garnizonowej. Jako cywil pragnął kontynuować rozpoczętą w wojsku karierę muzyka. Zamienił jednak saksofon na flet, uznając że na „rynku jazzowym” jest nadmiar saksofonistów. Kiedy w 1953 holenderski akordeonista, Mat Mathews, zaproponował mu współpracę, poszukując flecisty do nagrania pierwszej płyty debiutującej wokalistki, Carmen McRae, Mann zgodził się bez wahania. Chcąc od razu zaistnieć jako nieprzeciętny instrumentalista, przed pierwszym wejściem do studia całymi dniami intensywnie ćwiczył. W konsekwencji już w 1954 nagrał swoją pierwszą, firmowaną własnym nazwiskiem, płytę – Herbie Mann Plays.