Po raz ostatni jako zawodnik zagrał 4 września 1899.
W 1901 został menadżerem i współwłaścicielem nowo utworzonego klubu Philadelphia Athletics. W latach 1902–1914 poprowadził zespół do sześciu mistrzostw American League, a także trzech triumfów w World Series, mając w składzie między innymi wewnątrzpolowych Eddiego Collinsa, Franka Bakera, Jacka Barry'ego i Stuffy'ego McInnisa, którzy zyskali przydomek $100,000 infield. Kolejne mistrzostwa American League zdobywał w latach 1929–1931, w 1929 i 1930 wygrywał World Series, w 1931 Athletics zwyciężyli w 107 meczach co jest rekordem klubu. W 1933 był menadżerem American League All-Stars w pierwszym Meczu Gwiazd ligi MLB. Od 1934 do 1950 Athletics nie zajęli wyższego miejsca w lidze niż czwarte. W sezonie 1937 i 1939 opuścił 122 mecze z powodu choroby, a tymczasowym menadżerem zespołu był jego syn Earle Mack.