Złożenie Arseniusza i cofnięcie ekskomuniki doprowadziło do podziału Kościoła prawosławnego na arsenitów i józefitów, popieranych przez dwór cesarski i część duchowieństwa.
W 1273 r. wystąpił przeciw polityce cesarza zmierzającej do zawarcia unii pomiędzy Kościołami Wschodnim i Zachodnim. Dzięki energicznym zabiegom jego współpracownika, Jana Bekkosa synod Kościoła greckiego, mimo sprzeciwu patriarchy, podpisał pod koniec 1273 r. dokument uznający zwierzchność Stolicy Piotrowej. W styczniu 1274 r. polecono Józefowi wycofać się do klasztoru Peribleptos. Ustalono, że jeśli nie dojdzie do podpisania unii, będzie mógł wrócić na urząd, pod warunkiem, że nie podejmie działań przeciw jej zwolennikom. Natomiast jeśli dojdzie do podpisania unii będzie miał do wyboru albo ją zaaprobować albo pozostać w klasztorze. Ponieważ po podpisaniu unii Józef nie zmienił swego stanowiska, na początku 1275 r.V. Grumel mówi o maju 1275 (Traité d'études byzantines, s. 437) synod zdetronizował go i wybrał jako jego następcę chartofylaksa Jana Bekkosa. Przez następne lata Józef, któremu pozwolono spokojnie żyć w konstantynopolitańskim klasztorze, pozostawał w przyjaznych stosunkach ze swoim następcą. Jednakże w 1279 r.