Uwagę zwrócił na siebie dopiero w zespole Band of Joy, z którym grał w latach 1966–1968. Jego wokalistą był nieznany wówczas nikomu Robert Plant. Po rozpadzie formacji na Bonhama posypały się różne propozycje współpracy. Zaczęło się od trasy z Timem Rose’em, w drugiej kolejności nadeszły oferty od Joe Cockera i Chrisa Farlowe’a. Bonham po namowach dołączył jednak do nowego zespołu Jimmy’ego Page’a, który nie dawał mu na starcie dużo pieniędzy, ale był dla perkusisty najbardziej atrakcyjny muzycznie.

Ostatecznie wykrystalizowany skład grupy nazwanej Led Zeppelin wyglądał następująco: Jimmy Page, Robert Plant, John Paul Jones oraz Bonham.

Karierę zespołu przerwała 25 września 1980 niespodziewana śmierć muzyka. Miał wówczas 32 lata.

Jego syn, Jason, również został perkusistą. thumb|Pomnik Johna Bonhama na Mercian Square w Redditch.