Życiorys John Gillis urodził się jako jedno z dziesięciorga dzieci. Syn Gormana i Teresy Bandyk Gillis. Ma polskie korzenie, co często podkreśla w mediach, jego matka pochodzi z Polski, babka mieszkała w Krakowie. Jego rodzina była bardzo muzykalna, on sam uczył się gry na gitarze, perkusji i pianinie. Będąc nastolatkiem, grał w wielu zespołach, m.in. The Go oraz Two Star Tabernacle.
W wieku 21 lat Gillis poznał Meg White, barmankę, którą poślubił w 1996. Jak głosi plotka, pewnego dnia, ćwicząc na gitarze, dla żartu posadził Meg za perkusją i zachwycony patrzył, jak gra na tym instrumencie niczym kilkuletnie dziecko. To właśnie wtedy założyli zespół o nazwie The White Stripes – Jack grał na gitarze i śpiewał, a Meg grała na perkusji.
W 1999 nagrali pierwszy album The White Stripes, ich drugi album De Stijl (2000) ukazał się, kiedy Jack i Meg byli już rozwiedzeni (24.03.2000). Nagrywali jednak nadal razem, podpisując kontrakt z wytwórnią V2 Records i nagrywając albumy White Blood Cells oraz w 2003 Elephant, który przyniósł im największą popularność. Potem, zarejestrowany w angielskim Blackpool słynny koncert duetu pojawił się na DVD w 2004. Następnie, w 2005 wydali płytę Get Behind Me Satan, z której piosenka „Blue Orchid” już wcześniej – jako singel – była rockowym hitem.