W 1947 został absolwentem Harvard College przy Uniwersytecie Harvarda w Cambridge.
W 1947 studiował aktorstwo pod okiem trenerki Uty Hagen w HB Studio w Nowym Jorku. Był także pianistą, który trenował w wieku 14 lat i nauczył się grać ze słuchu. Przez rok w Nowym Jorku pracował nieodpłatnie jako kelner i mistrz ceremonii w barze Old Knick na Second Avenue na Manhattanie. Grał również na pianinie w sali.
Kariera W 1948 po raz pierwszy trafił na mały ekran jako Fred Stevens w serialu CBS Studio One. Rok później zadebiutował na kinowym ekranie w roli tynkarza w komedii Michaela Curtiza The Lady Takes a Sailor (1949) z udziałem Jane Wyman, Eve Arden i Toma Tully. Po tym, jak Lemmon na Broadwayu dostał główną rolę Leo Davisa w komedii Serwis pokojowy (1953), łowca talentów dla Columbia Pictures przekonał go, by zamiast tego spróbował rozpocząć karierę w Hollywood.