W roku następnym cesarz mianował go opatem klasztoru w Bobbio, jednak nie sprawdził się na tym stanowisku i po śmierci cesarza Ottona II (983) udał się do Reims, gdzie został doradcą arcybiskupa Adalberona, który umierając w 989 roku wyznaczył Gerberta na swego następcę. Ten objął to stanowisko dopiero w 991 roku, po buncie kandydata królewskiego Arnulfa. Papież Jan XV zablokował jednak jego wybór, wobec tego Gerbert udał się na dwór cesarski i został wychowawcą młodocianego Ottona III. Cesarz po wyborze na tron papieski jego kuzyna Grzegorza V, wsparł w 998 roku kandydaturę Gerberta na arcybiskupa Rawenny. W niecały rok później, również wspierany przez cesarza, został wybrany papieżem i był pierwszą osobą na tym stanowisku pochodzącą z Francji. Jego imię nawiązywało do Sylwestra I jako wzoru w stosunkach papież-cesarz.
Pontyfikat Zaraz po objęciu Stolicy Piotrowej Sylwester zezwolił Arnulfowi na objęcie funkcji arcybiskupa Reims. Był uważany za reformatora – wzywał duchownych do przestrzegania celibatu i zdecydowanie potępił nepotyzm i symonię, a także wzywał do wolnego wyboru opatów przez mnichów.