W sezonie 1995–1996, czyli wtedy, gdy McCarthy opuścił Millwall, drużyna dowodzona już przez Jimmy’ego Nicholla spadła z Premier League.
W 1996 roku zastąpił Jackiego Charltona na stanowisku selekcjonera reprezentacji Irlandii. Awans do dwóch kolejnych turniejów (Mistrzostw Świata 1998 i Euro 2000) prowadzona przez McCarthy’ego drużyna przegrywała w barażach, odpowiednio z Belgią i Turcją. W 2002 roku wreszcie zagrała na Mundialu, do którego awansował także po barażach (z Iranem). Na boiskach Korei i Japonii Irlandczycy wyprzedzili w fazie grupowej mistrza Afryki Kamerun oraz Arabię Saudyjską, ale w drugiej rundzie po wyrównanym meczu przegrali w rzutach karnych z Hiszpanią. McCarthy podał się do dymisji pod koniec 2002 roku, po słabym starcie w eliminacjach do Euro 2004. Pewnym cieniem na udanej sześcioletniej kadencji na stanowisku selekcjonera (68 meczów: 29 zwycięstwa, 19 remisów, 20 porażek) jest usunięcie kapitana drużyny Roya Keane'a z kadry w czasie mistrzostw świata. Według wielu obserwatorów było to znaczne osłabienie zespołu.
Od marca 2003 do maja 2006 roku był trenerem Sunderlandu, z którym w pierwszym sezonie swojej pracy spadł z Premier League.