Rachmaninow studiował w Konserwatorium Petersburskim, zanim postanowił przeprowadzić się do Moskwy, by uczyć się gry na fortepianie od Nikołaja Zwieriewa i Aleksandra Silotiego (który był jego kuzynem i byłym uczniem Ferenca Liszta). Studiował również harmonię u Antona Arienskiego i kontrapunkt u Siergieja Taniejewa. Rachmaninow okazał się dość leniwym uczniem, przez co nie zaliczył większości swoich zajęć, jednak surowy reżim domu Zwieriewa pomógł wpoić chłopcu dyscyplinęNorris, New Grove, 15:550..
W swojej młodości Rachmaninow okazał wysokie umiejętności w komponowaniu. Będąc jeszcze studentem w konserwatorium napisał jednoaktową operę Aleko jako pracę dyplomowąJózef Kański, Przewodnik operowy, s. 399, PWM, 1973, za którą otrzymał złoty medal. Skomponował też swój I Koncert fortepianowy (1891) oraz zbiór utworów fortepianowych Morceaux de Fantaisie, który zawiera słynne Preludium cis-moll. Popularność tego napisanego przez Rachmaninowa w wieku 20 lat utworu zaczęła później drażnić kompozytora.