W 1924 wstąpił do Komunistycznej Partii Polski, od 1932 do 1938 członek jej Komitetu Centralnego, od 1925 w Komunistycznym Związku Młodzieży Polski. W 1947 został członkiem Polskiej Partii Robotniczej, a w 1948 przystąpił z nią do Polskiej Zjednoczonej Partii Robotniczej. W 1948 II sekretarz Komitetu Wojewódzkiego PPR w Poznaniu i I sekretarz KW w Katowicach oraz kierownik wydziału personalnego i członek biura organizacyjnego Komitetu Centralnego PPR. W Komitecie Centralnym PZPR kierownik wydziału kadr (1948–1950), członek (1948–1954) biura organizacyjnego i członek jego sekretariatu (od 1950 do 1954). W latach 1948–1980 członek KC PZPR, w okresie 1950–1954 jego sekretarz i zastępca członka Biura Politycznego KC. Członek BP KC PZPR od 1954 do 1956, w latach 1968–1971 przewodniczący Centralnej Komisji Kontroli Partyjnej.

Od 1952 do 1968 wiceprezes Rady Ministrów (od 1952 do 1954 jako I zastępca Prezesa Rady Ministrów). W latach 1969–1971 prezes Najwyższej Izby Kontroli. Od 1971 do 1978 ambasador PRL w ZSRR. Pełnił mandat poselski na Sejm PRL I, III, IV i V kadencji, w latach 1978–1980 członek prezydium Ogólnopolskiego Komitetu Frontu Jedności Narodu. Zenon Nowak na VII Plenum KC PZPR w 1956 wystąpił z zarzutem, że we władzach krajowych za dużo jest osób pochodzenia żydowskiego.