Rodzina Hoxhów posługiwała się dialektem toskijskim języka albańskiego. Z powodu częstych wyjazdów Halili duży wpływ na Envera w tym czasie miał stryj, Hysen Hoxha. Hysen był działaczem niepodległościowym, a następnie opozycyjnym. Hoxha w wieku 16 lat współtworzył i został sekretarzem Towarzystwa Studentów Gjirokastry. Towarzystwo było jednym z organów opozycji względem monarchistycznego rządu Zogu I. Reżim zamknął Towarzystwo, a młody Enver przeniósł się do Korczy, gdzie kontynuował naukę w liceum francuskim. W liceum uczył się historii Francji, literatury i filozofii. W czasie pobytu w Korczy po raz pierwszy przeczytał Manifest KomunistycznyA Coming of Age: Albania under Enver Hoxha, James S. O’Donnell, New York 1999, s. 193..
W 1930 roku wyjechał na studia na Uniwersytet Montpellier we Francji. Zdobył stypendium państwowe Królowej Matki Sadij Toptani na wydziale nauk przyrodniczych. Uczęszczał na konferencje organizowane przez Stowarzyszenie Robotnicze związane z Francuską Partią Komunistyczną. Po roku nauki, porzucił swoje zainteresowania biologią i wyjechał do Paryża w nadziei na dalsze studia. Brał kursy filozofii na Sorbonie i współpracował z pismem „L’Humanité”, dla którego pod pseudonimem Lulo Malësori pisał artykuły na temat sytuacji w Albanii.