W kolejnych latach zwyciężał takich zawodników jak Akihiro Gōno czy ponownie Alves oraz zanotował remis z byłym dwukrotnym mistrzem UFC B.J. Pennem. Mimo dobrych wyników (od porażki z St-Pierre’em 5 zwycięstw i 1 remis) nie otrzymał kolejnej szansy walki o tytuł. Prezydent UFC Dana White argumentował to tym, iż Fitch powinien zdecydowanie pokonać Penna (ówcześnie walczącego kategorię niżej) oraz że nie daje emocjonujących pojedynków.
Lata 2011–2013 przyniosły szybką porażkę przez nokaut z Johnym Hendricksem, wygraną na punkty z Brazylijczykiem Erickiem Silvą i przegraną z mistrzem świata w brazylijskim jiu-jitsu Demianem Maią. Po przegranej z tym ostatnim Fitch nieoczekiwanie został zwolniony z UFC.
World Series of Fighting Po zwolnieniu znalazł zatrudnienie w założonej przez byłego kickboksera Raya Sefo World Series of Fighting. W pierwszym pojedynku w nowej organizacji przegrał w rewanżowym starciu z Joshem Burkmanem przez poddanie (duszenie gilotynowe) w 1. rundzie. Następnie wygrał dwa pojedynki, w swoim stylu dominując rywali zapaśniczo, za co otrzymał szansę stoczenia walki o mistrzostwo WSOF wagi półśredniej z Brazylijczykiem Rousimarem Palharesem. Fitch przegrał równie szybko co z Burkmanem w 1.