Kariera Davenport początkowo nie planował zostać aktorem. Jednak poszedł w ślady swoich rodziców, gdy rok po ukończeniu Cheltenham College, reżyser z Clwyd Theatr Cymru był pod wrażeniem jego występu na letnim kursie teatralnym i poprosił Davenporta, by pracował dla niego. W wieku 18 lat był w Walii, wykonując części w Hamlecie, gdzie zaprzyjaźnił się z Rhysem Ifansem.
Studiował na wydziale literatury i filmu na Uniwersytecie Wschodniej Anglii. Debiutował na ekranie rolą opiekuna ZOO w komedii ze scenariuszem Johna Cleese’a Lemur zwany Rollo (Fierce Creatures, 1997). Jego pierwszą ważną rolą był jednak wykształcony adwokat ze szkoły publicznej Miles Stewart w serialu BBC This Life (1996).
W dramacie kryminalnym Anthony’ego Minghelli Utalentowany pan Ripley (The Talented Mr. Ripley, 1999) zagrał postać homoseksualnego Petera Smitha-Kingsleya zainteresowanego tytułowym Tomem Ripleyem (Matt Damon). Z kolei w filmie Gore Verbinski Piraci z Karaibów: Klątwa Czarnej Perły (Pirates of the Caribbean: The Curse of the Black Pearl, 2003) wystąpił jako komodor James Norrington, partner Elizabeth Swann (Keira Knightley).
W 2001 był producentem wykonawczym filmu Subterrain.
1 maja 2000 ożenił się z Michelle Gomez. Mają syna Harry’ego (ur.