W 1993 jego dziewczyna zamieszkała z rodzicami Raya, podczas gdy on studiował na uniwersytecie w Connecticut.
Dla Huskies grał w latach 1993-96, dokąd wziął go trener Karl Hobbs. Podczas swojej gry na uniwersytecie, w 1995 został wybrany do składu All-American i otrzymał nagrodę dla najlepszego sportowca roku. W ostatnim roku gry dla UConn trafił do pierwszej piątki najlepszych graczy całego kraju i dostał nagrodę dla najlepszego zawodnika konferencji Big East. W swojej karierze na tej uczelni zdobył 1922 punkty, co jest trzecim wynikiem w jej historii, a 115 celnych rzutów za trzy punkty w rozgrywkach 1995-96 to niepobity do dzisiaj rekord.
W drafcie w 1996 Allen został wybrany z 5. numerem przez Minnesota Timberwolves, jednak nigdy nie zagrał w tym klubie. Trafił od razu w dniu draftu do Milwaukee Bucks w ramach wymiany ze Stephona Marbury'ego.