Nazwa yakuza w znaczeniu zorganizowanych organizacji gangsterów wywodzi się od tradycyjnej japońskiej gry karcianej oicho-kabu, do której używa się kart kabufuda (40 kart w talii) lub hanafuda (48 kart)Oicho-kabu → gra karciana, w którą może grać wielu graczy. Nazwa pochodzi z portugalskiego slangu. Prawdopodobnie została przejęta od portugalskich kupców w XVIII wieku. Gracze mogą również korzystać z kart hanafuda z niewielkimi zmianami w talii. Celem gry jest uzyskanie jak największej liczby punktów zbliżonej do dziewięciu przy pomocy dwóch lub trzech kart. Gra jest uznawana za pewien rodzaj bakarata. Gracze mogą również używać talii 52 kart zachodnich, ale muszą usunąć figury i liczyć asa jako jeden punkt.. Celem gry jest uzyskanie jak największej liczby punktów zbliżonej do dziewięciu, a zwycięzcą rozgrywki jest gracz, który kończy grę z kartami w ręku, których ostatnia cyfra sumy była największa. Najgorsza ręka to ósemka, dziewiątka i trójka – co w wymowie w slangu brzmi ya-ku-za – gdyż w sumie daje dwadzieścia traktowane jako zero, gdyż wartości całkowite powyżej dziewięciu ignorują pierwszą cyfrę.
Termin yakuza nie występuje w dokumentach oficjalnych i tekstach ustawowych.