Został obdarzony tytułami papieskiego nadzwyczajnego tajnego szambelana (1959) oraz prałata honorowego Jego Świątobliwości (1970).

Od 1962 roku był urzędnikiem watykańskiej Kongregacji Doktryny Wiary; pracował początkowo w sekcji cenzury ksiąg, potem w sekcji doktryny. Pełnił funkcję specjalnego sekretarza I sesji zwykłej Światowego Synodu Biskupów w Watykanie (wrzesień–październik 1967). Od 1974 był podsekretarzem w Kongregacji ds. Biskupów.

Był jednym z bliskch współpracowników papieża Jana Pawła II. W lipcu 1979 został mianowany sekretarzem generalnym Światowego Synodu Biskupów i arcybiskupem tytularnym Doclea, sakry udzielił mu 15 września 1979 w Watykanie osobiście papież. Z racji pełnionej funkcji arcybiskup Tomko brał udział w kolejnych sesjach Synodu; już po zwolnieniu z obowiązków sekretarza generalnego był jednym z prezydentów-delegatów sesji specjalnej Synodu dla Kościoła azjatyckiego (kwiecień-maj 1998). Uczestniczył również w konferencjach generalnych Episkopatów Latynoamerykańskich (1979, 1992). W kwietniu 1985 przeszedł na stanowisko proprefekta Kongregacji ds. Ewangelizacji Narodów, a miesiąc później został wyniesiony do godności kardynalskiej, z nadaniem diakonii Gesu Buon Pastore alla Montagnola.