Od 1494 r. północno-wschodnią część Kazimierza zaczęli zajmować wysiedlani z Krakowa Żydzi. Dzisiejszą ulicę Józefa przecięła w 1533 r. na dwie części brama Żydowska, znajdująca się na skrzyżowaniu z obecną ulicą Jakuba, dlatego też w XVI wieku wschodnią część ulicy zaczęto nazywać ulicą Żydowską (Platea Iudeorum, Na zydowskiey ulicy przed broną zydowską, Ulica Żydowska). Na przełomie XVIII i XIX wieku cała dzisiejsza ulica nosiła już nazwę Żydowskiej, a z czasem Chrześcijańsko-Żydowskiej (in der christlichen-Judengasse w 1807 r.).
W 1866 roku, gdy ulica zamieszkana była niemal wyłącznie przez Żydów, pojawiła się nazwa obecna, nawiązująca do pobytu cesarza Józefa II w kamienicy Wojewodzińskiej przy ulicy Krakowskiej 20/Józefa 2. Pierwotnie nazwa ta odnoszona była jedynie do odcinka zachodniego, między ulicami Krakowską a dzisiejszą Nową, później objęła całą ulicę. Była ona jedną z ulic okalających teren dawnego Miasta Żydowskiego, na jej przecięciu z ulicą Jakuba znajdowała się brama wjazdowa. Brama była ważnym miejscem w życiu mieszkańców miasta żydowskiego. Tutaj ogłaszano ważne wiadomości, rozporządzenia oraz ugody między władzami miejskimi Kazimierza a gminą żydowską.