Od maja do grudnia 1941 wykładał na seminarium przygotowującym do prowadzenia zajęć szkolnych w jidysz, zaś od lutego 1943 odpowiadał za gromadzenie dokumentów archiwalnych. Przez krótki okres był kierownikiem archiwum. W okresie pobytu w getcie został sekretarzem, funkcjonującego od jesieni 1940 Jidisze Kultur Gezelszaft (Żydowskie Towarzystwo Kulturalne), w ramach którego zajmował się popularyzacją kultury żydowskiej, poprzez wygłaszanie referatów. Ponadto udzielał się w salonie literackim Miriam Ulinower, w którym artyści z getta prezentowali swoje utwory.
Po 1944 został deportowany do Auschwitz-Birkenau, gdzie został zamordowany we wrześniu 1944. Jego ostatnie notatki z getta pochodzą z czerwca 1944.
Życie prywatne Józef Zelkowicz miał żonę Sarę i syna Samuela, z którymi trafił do getta.
Publikacje Zelkowicz publikował liczne artykuły w prasie codziennej nt. obrzędowości i obyczajowości jidysz, lecz znaczna część jego artykułów zaginęła. Nieznane są losy kolekcji haseł przygotowanych przez Zelkowicza dla YIVO, monografie gmin żydowskich w Konstantynowie Łódzkim i Lutomiersku, a także jego książki Di judisze folks-medicin zapowiadanej na łamach „Najer Folksblat” w 1934.