Tło i kompozycja „The Closer I Get to You” zostało napisane przez Reggiego Lucasa i Jamesa Mtume, którzy byli członkami zespołu koncertowego Roberty Flack i zagrali na albumie Blue Lights in the Basement. Napisali tę piosenkę pomiędzy trasami koncertowymi, a podczas sesji nagraniowych do płyty przynieśli ją producentowi Flack, Joemu Ferli, który zaprezentował ją artystce. Ferla, Flack (pod pseudonimem Rubina Flake) oraz Gene McDaniels wyprodukowali utwór, a Ahmet Ertegun pełnił funkcję producenta wykonawczego. Flack i Donny Hathaway, bliscy przyjaciele z czasów studiów na Uniwersytecie Howarda, nagrali wcześniej wspólny album z duetami w 1972 roku. Pięć lat później duet ponownie połączył siły przy pracy nad „The Closer I Get to You”.
Utwór pierwotnie nie był pisany z myślą o duecie. David Franklin, menedżer Flack, który w przeszłości współpracował z Hathawayem, zdecydował się przeredagować utwór tak, aby go uwzględnić. Hathaway cierpiał w tamtym czasie na silne napady depresji klinicznej, przez co często musiał być hospitalizowany. Depresja powodowała również wahania nastroju, które niekorzystnie wpływały na jego współpracę z Flack. W rzeczywistości stan Hathawaya uniemożliwił mu podróż z Chicago do Nowego Jorku, aby dołączyć do Flack w studiu podczas nagrywania piosenki.