Sezon 2006/2007 spędził właśnie tam, a po nim powrócił do Tottenhamu. 30 stycznia 2008 podpisał kontrakt na kwotę 1,25 miliona funtów z Aston Villą.
Zadebiutował tam 5 kwietnia w spotkaniu z Boltonem Wanderers. Było to jego jedyne spotkanie w debiutanckim sezonie. Później wystąpił jeszcze w jednym ligowym pojedynku, jednym pucharowym oraz czterema w Pucharze UEFA i jednym w Pucharze Intertoto. W listopadzie 2008 roku został wypożyczony do Cardiff City. Pierwszy występ w tej drużynie zaliczył 22 listopada, kiedy to zagrał w ligowym pojedynku z Plymouth Argyle. Po dziewięciu meczach rozegranych w barwach Cardiff City Routledge 2 stycznia 2009 roku przeszedł do Queens Park Rangers.
W styczniu 2010 roku dołączył do Newcastle United podpisując 3,5 letni kontrakt z klubem, kwoty transferu nie ujawniono. W 2011 roku przebywał na wypożyczeniu w Queens Park Rangers.
1 sierpnia 2011 roku podpisał kontrakt ze Swansea City, która po raz drugi w swojej historii awansowała do najwyższej klasy rozgrywkowej w Anglii (wliczając awans do dawnej First Division w 1980 roku). W sezonie 2012/2013 Routledge wywalczył z Łabędziami Puchar Ligi Angielskiej.