Na początku lat 70. w swojej pracy poznał Douglasa Colvina (później znany jako Dee Dee Ramone), z którym połączyła go wspólna fascynacja muzyką The Stooges i MC5. W jednym ze styczniowych dni 1974 roku wybrali się razem do „Manny’s Guitar Emporium” w Nowym Jorku, gdzie Cummings kupił za 54$ używanego Mosrite’a Ventures II w kolorze niebieskim, a Colvin gitarę basową Danelectro. Wraz z Jeffreyem Hymanem (później znanym jako Joey Ramone) utworzyli zespół, do którego wkrótce dołączył również Erdélyi. Grupa przyjęła nazwę Ramones, a każdy z członków zespołu nazwisko Ramone (pomysł Colvina) – Jeffrey Hyman stał się Joeyem Ramone, Cummings – Johnnym Ramone, Colvin – Dee Dee Ramone, a Erdélyi – Tommym Ramone. Chociaż Johnny nie angażował się zbyt w twórczość zespołu (materiał tworzyli głównie Dee Dee i Joey), jego styl gry był kluczową częścią brzmienia Ramones.

W latach 80. pogorszyły się jego relacje z Joeyem, kiedy poślubił jego byłą dziewczynę – Lindę. Chociaż zespół pozostał razem jeszcze przez długie lata, kontakt pomiędzy nimi prawie zupełnie zanikł.