Nadzieje były jeszcze większe w sezonie 2004/2005, kiedy to James stał się supergwiazdą ligi poprawiając swoje wyniki w zdobytych punktach, skuteczności, liczbie asyst i zbiorek. Pomimo straty Carlosa Boozera z powodu kontrowersyjnego zajścia, James stworzył trzon drużyny z Žydrūnasem Ilgauskasem i Drew Goddenem. Po obiecującym początku sezonu końcówka nie była tak udana i Cleveland nie awansowała do play-off, zajmując 8. miejsce razem z New Jersey Nets i przegrywając dodatkowy mecz. Wyniki te spowodowały zwolnienie trenera drużyny Paula Silasa i menedżera Johna Paxsona.
Okres po sezonie 2004/2005 był dla Cavaliers czasem wielu zmian. Nowym właścicielem drużyny został Dan Gilbert, nowym trenerem Mike Brown, a nowym menedżerem został były zawodnik Danny Ferry. W sezonie 2005/2006 Cavaliers awansowali do play-off po raz pierwszy od sezonu 1997/1998. Po zwycięstwie w pierwszej rundzie z Washington Wizards, przegrywali już 2–0 z Detroit Pistons w drugiej rundzie, aby wygrać trzy kolejne spotkania i wyjść na prowadzenie w serii. Jednakże przegrali zacięty szósty mecz u siebie, a następnie ponieśli porażkę w siódmym, decydującym meczu 79:61.