Młodość Alfons przyszedł na świat 21 lipca 1476 jako trzecie dziecko i jednocześnie najstarszy syn, księcia Ferrary Herkulesa I d’Este i jego żony Eleonory Aragońskiej. Miał dwie starsze siostry Izabelę i Beatrycze oraz trzech młodszych braci: Ferranta (1477), Hipolita (1479) i Giulia. Dzieciństwo i młodość przeżył wśród niepokojów związanych z wojną z Wenecją. Troski wynikłe z tej wojny: utrata równiny polezyńskiej i Rovigo zaważyły poważnie na jego charakterze, rodząc przekonanie, że siła militarna jest dla Ferrary koniecznością. Uznawszy artylerię za rozstrzygający czynnik w przyszłych wojnach jako młodzieniec, założył i osobiście zaczął prowadzić odlewnię armat. Z szacunkiem odnosił się do pracujących tam robotników. Chętnie też z nimi przestawał, ku zgorszeniu szlachty i dworzan. W wieku 15 lat, 22 stycznia 1491 roku, został w Mediolanie zaślubiony z Anną Sforzą, księżniczką mediolańską. Anna okazała się osobą chorowitą, nie mogła mieć dzieci i po sześciu latach pożycia małżeńskiego umarła, w 1497 roku. Z mężem musiała przechodzić trudne chwile. Na kilka miesięcy przed jej śmiercią Alfons pozwolił sobie na wyskok młodzieńczej fantazji: wyszedł na ulice Ferrary zupełnie nago, ze szpadą w ręku, otoczony kilkoma towarzyszami rozpusty.