29 kwietnia 1904 w San Francisco Walcott spotkał się w obronie tytułu z Dixie Kidem. W ostatniej 20 rundzie arbiter ogłosił dyskwalifikację Walcotta i zwycięstwo Dixie Kida, mimo że cios Walcotta wydawał się prawidłowy. Jak się później okazało, arbiter postawił pieniądze na wygraną Dixie Kida. Pomimo porażki Walcott nadal był uważany za mistrza świata. 10 czerwca tego roku w Baltimore został znokautowany w 4. rundzie przez Young Petera Jacksona, a 5 września w Manchester zremisował z Samem Langfordem. thumb|left|300px|Walcott (z lewej strony) i Joe Gans w 1904 30 września tego roku w San Francisco Walcott zremisował z mistrzem świata w wadze lekkiej Joe Gansem; nie jest jasne, czy tytuł w wadze półśredniej był stawką tego pojedynku. W październiku przypadkowo postrzelił się w prawą rękę i nie mógł walczyć do początku 1906.
Po powrocie na ring Walcott w pojedynkach o mistrzostwo świata znokautował w 8. rundzie Jacka Dougherty’ego (10 lipca 1906 w Chelsea) i zremisował z Billym Rhodesem (29 września 1906 w Kansas City). 116 października tego roku w Chelsea Honey Mellody odebrał mu tytuł wygrywając na punkty. W walce rewanżowej 29 listopada 1906 Mellody zwyciężył przez techniczny nokaut w 12. rundzie.