Na początku XX wieku należał do nielicznych taterników, którzy na wyprawach używali plecaków.
Jan Józef Fischer był pasjonatem automobilizmu – należał do Galicyjskiego Klubu Automobilowego, a w 1902 roku odbył pierwszy przejazd samochodem nowo wybudowaną szosą do Morskiego Oka. Podczas I wojny światowej na własną prośbę został skierowany do szkoły lotniczej w Fischamend, a po jej ukończeniu zaciągnął się do Armii Polskiej we Francji.
Od 1910 roku Jan Józef Fischer przewodniczył powstałemu w Krakowie Tatrzańskiemu Towarzystwu Narciarzy. Był również członkiem Polskiego Towarzystwa Tatrzańskiego (w latach 1921–1931 przewodniczył komisji rewizyjnej). Na początku lat 20. XX wieku zainteresował się jachtingiem morskim, co doprowadziło do powołania w 1924 roku spółki, mającej na celu zakup używanego, pełnomorskiego jachtu. Udało się to wiosną 1925 roku, kiedy w duńskim porcie Nyborg zakupiono jacht Carmen. Po załatwienie formalności, w dniach 16–20 maja 1925 roku jako pierwszy pełnomorski jacht pod polska banderą, Carmen odbyła rejs do Gdańska. W rok później Jan Fischer, wraz z czteroosobową załogą (w skład której wchodzili jego synowie, Józef i Jan), odbył jednostką rejs do portów skandynawskich, zawijając m.in. do Kopenhagi, Oslo i Göteborga.