Na początku 2004 roku ukazał się pierwszy minialbum grupy Kylesa pt. No Ending / A 110° Heat Index. Następnie muzycy podpisali kontrakt z wytwórnią muzyczną Prosthetic Records. 22 kwietnia 2005 roku do sprzedaży trafił drugi album długogrający formacji pt. To Walk a Middle Course. Trzecia płyta grupy zatytułowana Time Will Fuse Its Worth została wydana 31 października 2006 roku. Na początku 2009 roku zespół udał się w tournée po Stanach Zjednoczonych, Japonii i Kanadzie, m.in. u boku Nachtmystium i The Haunted. 17 marca tego samego roku ukazał się czwarty album studyjny zespołu pt. Static Tensions. W kwietniu grupa otrzymała nominację do nagrody Metal Hammer Golden Gods dla najlepszego zespołu podziemia artystycznego (Best Underground Band). Na przełomie kwietnia i maja grupa udałą się w trasę koncertową poprzedzając występy formacji Mastodon. Następnie w czerwcu, nakładem La Familia Records ukazał się split Kylesa i szwedzkiego zespołu hardcore'owego Victims.