Kariera piłkarska Ja’akow Grundman całą swoją karierę piłkarską spędził w klubie Bene Jehuda Tel Awiw, gdzie najpierw grał w drużynach juniorskich, a w 1954 roku dołączył do drużyny seniorskiej, w której będąc jedynym Żydem aszkenazyjskim zyskał przydomek The Pole (Polak). W sezonie 1958/1959 uzyskał z klubem awans do ekstraklasy izraelskiej, a w sezonie 1967/1968 sięgnął po Puchar Izraela. Po sezonie 1968/1969 Grundman z powodu kontuzji w wieku zaledwie 29 lat zakończył karierę piłkarską.
Kariera reprezentacyjna Ja’akow Grundman w reprezentacji Izraela w latach 1961–1964 rozegrał 8 meczów. Zadebiutował w niej 15 października 1961 roku na stadionie Ramat Gan w meczu eliminacyjnym mistrzostw świata 1962 przeciwko reprezentacji Włoch, który zakończył się zwycięstwem gości 2:4, ostatni mecz rozegrał 2 stycznia 1964 roku na Government Stadium w Hongkongu wygranym 3:0 meczu towarzyskim z reprezentacją Hongkongu.