Zmarł po krótkiej chorobie na serce 11 września 1904 w Sanoku w wieku 46 lat. Został pochowany na cmentarzu przy ul. Rymanowskiej w Sanoku 13 września 1904, a w pogrzebie uczestniczyli licznie mieszkańcy miasta, zaznaczając tym samym ogólnie panującą sympatię dla zmarłego. Grobowiec rodziny Mozołowskich został uznany za obiekt zabytkowy i podlega ochronie prawnej.
Jego żoną została Antonina z domu Fijałek (1872-1900)Antonina Mozołowska była wyznania rzymskokatolickiego. . Ich dziećmi byli Aldona Helena (ur. 1890, studiowała medycynę, wpierw zamężna z Jakubowskim, synem właściciela Bóbrki, zmarłym tragicznie pracownikiem naukowym Politechniki Lwowskiej, potem żona ppłk. dr. Mariana Wowkonowicza, została lekarzem internistą), Janina Maria (ur. 1891, nauczycielka, od 1912 zamężna z Henrykiem Grotowskim, urzędnikiem magistratu miasta Lwowa), Stefan (1892-1940, lekarz, oficer Wojska Polskiego, ofiara zbrodni katyńskiej), Stanisław (1894-1900, zmarł w dzieciństwie, miesiąc po matce), Włodzimierz (1895-1975, lekarz, profesor, oficer Wojska Polskiego). Po przedwczesnej śmierci Józefa i Antoniny Mozołowskich wychowaniem ich dzieci zajmowali się brat Józefa, Wiktor Mozołowski, oraz brat matki, ks. prof. Jan Nepomucen Fijałek. Drugą żoną Józefa Mozołowskiego była Helena. Miał też córkę Kamilę (ur. 1902, nauczycielkę).