Fu membro della Amur River Society (conosciuta anche come: Black Dragon Society), un'organizzazione ultra nazionalista di diseredati ex-samurai che promulgò la "pan-Asiatic ascendancy" in linea con l'aumento dell'imperialismo giapponese. Anche se a detta di tutti era un prolifico artista marziale e insegnante, è sopravvissuto ben poco della documentazione sulla vita di Yoshida che è stata tradotta in inglese. Poiché era conosciuto per aver vissuto secondo un estremo stile di vita ascetica e forse a causa della sua attività politica e delle sue connessioni, maggiori informazioni su Yoshida vengono oggi tramandate oralmente da fonti primarie.
Note