Phillips leżał na deskach już w pierwszej rundzie, dodatkowo w rundzie dziewiątej odebrano mu jeden punkt za uderzenie głową.
W krótkim czasie Phillips doznał dwóch kolejnych porażek: z Peterem Venancio (w czerwcu 1996 roku) oraz z przyszłym mistrzem IBF w kategorii półciężkiej, Silvio Branco (w lutym 1997 roku). 21 maja 1997 roku zmierzył się ponownie z Rosim, wygrywając decyzją większości na punkty. 21 stycznia 1998 roku znokautował w dziewiątej rundzie byłego mistrza świata WBA w kategorii junior średniej i WBC w kategorii średniej, Juliana Jacksona, po czym zaprzestał boksowania na ponad dwa lata.
7 września 2001 roku przegrał na punkty z przyszłym mistrzem IBF, Kassimem Oumą. Po wygraniu kilku kolejnych pojedynków (m.in. z Bronco McKartem), dostał szansę walki eliminacyjnej IBF, w której jego rywalem był Julio Garcia. 5 marca 2004 roku pokonał Kubańczyka przez techniczny nokaut już w pierwszej rundzie i został oficjalnym pretendentem do tytułu mistrzowskiego. 5 czerwca w pojedynku o wakujący tytuł mistrza świata IBF pokonał przez techniczny nokaut w szóstej rundzie Carlosa Bojorqueza, który w ostatniej chwili zastąpił kontuzjowanego Kassima Oumę, i zdobył pas mistrzowski. Swój tytuł stracił już w październiku w następnej walce właśnie z Oumą, z którym miał pierwotnie walczyć w czerwcu.