Ponieważ nie ośmielił się cofnąć nałożonej na cesarza ekskomuniki, jeszcze w tym samym roku został usunięty ze stolicy patriarszej przez swego następcę Józefa IVenance Grumel podaje jako datę ustąpienia Germana III 25 września 1266 r.(Traité d'études byzantines, s.437) Po złożeniu urzędu German usunął się do klasztoru Mangano w Konstantynopolu.
Po wycofaniu się z Konstantynopola German pozostał czynnym uczestnikiem polityki cesarskiej i jego doradcą. W 1272 r. wraz z Michałem Laskarysem stał na czele poselstwa bizantyńskiego na Węgry, które przywiozło do Konstantynopola, narzeczoną Andronika II, księżniczkę Annę. W marcu 1274 r. został wysłany przez cesarza wraz z logotetą Jerzym Akropolitą i metropolitą nicejskim Teofanesem na sobór lyoński w celu zawarcia unii lyońskiej pomiędzy Kościołami Wschodnim i Zachodnim. Podczas spotkania z papieżem Grzegorzem IX obiecał w imieniu cesarza pomoc przy oswabadzaniu Ziemi Świętej. 6 lipca 1274 r. podpisał katolickie wyznanie wiary. Jesienią tego roku powrócił do Konstantynopola. Zmarł najpóźniej w listopadzie 1278 r.