Kariera trenerska Ja’akow Grundman jeszcze w trakcie kariery piłkarskiej rozpoczął karierę trenerską. W latach 1964–1965 oraz 1966–1968 był grającym trenerem Bene Jehuda Tel Awiw, z którym w sezonie 1973/1974 zdobył Puchar Izraela oraz w latach 1970–1971 prowadził zespół nie będąc już piłkarzem. W latach 1973–1975 prowadził Hapoel Hajfa, z którym w sezonie 1967/1968 sięgnął po Puchar Izraela. Następnie w sezonie 1976/1977 był trenerem Maccabi Tel Awiw, z którym sięgnął po krajowy dublet: mistrzostwo oraz Puchar Izraela, a w latach 1979–1981 trenował Maccabi Netanja, z którym w sezonie 1979/1980 sięgnął po mistrzostwo Izraela. Potem prowadził zespoły: ponownie Maccabi Tel Awiw (1981–1982), po raz czwarty Bene Jehuda Tel Awiw (1983–1984) oraz w latach 1986–1988 Szimszon Tel Awiw, z którym dwukrotnie wygrał rozgrywki Toto Cup (1987, 1988).
W latach 1988–1992 wraz z Jicchakiem Szne’urem prowadził reprezentację Izraela, która pod ich wodzą w eliminacjach do mistrzostw świata 1990 była bardzo blisko awansu na turniej finałowy do Włoch, jednak przegrała dwumecz w barażu interkontynentalnym z faworyzowaną reprezentacją Kolumbii.
Potem Grundman w 1992 roku przez kilka miesięcy prowadził Hapoel Tel Awiw oraz dwukrotnie Bene Jehuda Tel Awiw (1995–1997, 1997–1998), po czym zakończył karierę trenerską.