Pierwszym meczem w historii drużyny piłkarskiej było spotkanie derbowe z HAŠK, przegrane 1–5. W pierwszych latach istnienia Građanski zyskał sporą popularność wśród klasy robotniczej w przeciwieństwie do akademickiego HAŠK, ściśle związanego z uniwersyteckim środowiskiem Zagrzebia. W 1923 doszło do inauguracji jugosłowiańskiej ekstraklasy, w której wystąpiły także zespoły ze Splitu, Lublany, Belgradu, Suboticy i Sarajewa. W swoim debiutanckim sezonie Građanski wywalczył tytuł mistrzowski, pokonując w finale SAŠK Sarajewo 4–2. Do wybuchu II wojny światowej klub zdobył jeszcze cztery mistrzostwa (1926, 1928, 1937, 1940) oraz dwa wicemistrzostwa (1925, 1939).
Wojna i upadek (1939-1945) thumb|250px|right|HŠK Zrinjski Mostar - 1. HŠK Građanski Zagreb (2–3) – Mostar, 1940
Bezpośrednim wynikiem ataku państw Osi na Królestwo Jugosławii w 1941 był rozpad państwa i zawieszenie rozgrywek sportowych na terenie kraju. Po powstaniu marionetkowego Niepodległego Państwa Chorwackiego ustanowiono mistrzostwa kraju w piłce nożnej z udziałem najlepszych chorwackich klubów. W czterech sezonach rozgrywek Građanski wywalczył dwa mistrzostwa (1941 - nie dokończono sezonu, ale uznano mistrzostwo - oraz 1943–44).