Uczęszczał do Kaiser-Wilhelm-Gymnasium, gdzie okazał się bardzo zdolnym uczniem i które ukończył w wyjątkowo wczesnym wieku 17 lat. W wolnym czasie brał prywatne lekcje kompozycji u , a w sobotnie popołudnia czytał Kantowską Krytykę czystego rozumu razem z o 14 lat starszym przyjacielem Siegfriedem Kracauerem – twierdził później, że więcej zawdzięczał tym lekturom niż któremukolwiek ze swoich nauczycieli akademickich.

Na Uniwersytecie we Frankfurcie nad Menem studiował filozofię, psychologię, muzykologię i socjologię. Szybko, bo już w 1924 r. ukończył studia na podstawie pracy o Husserlu. W międzyczasie poznał swoich najważniejszych współpracowników ze szkoły frankfurckiej, w tym Maxa Horkheimera i Waltera Benjamina.

Intermezzo wiedeńskie W czasie studiów we Frankfurcie zajmował się krytyką muzyczną. Wierzył, że stanie się ona jego przyszłym zawodem. Mając ten cel na uwadze, skorzystał ze znajomości z Albanem Bergiem, by rozpocząć studia w Wiedniu na początku stycznia 1925 r. Nawiązał także kontakty z innymi wielkimi przedstawicielami szkoły wiedeńskiej, Antonem Webernem i Arnoldem Schönbergiem. W jego własnych kompozycjach muzycznych zaznacza się wpływ stylu Berga i Schönberga.