6 kwietnia 1907 Świątobliwy Synod Rządzący nominował go na biskupa pomocniczego eparchii kartlijskiej i kachetyńskiej z tytułem biskupa bakijskiego. O udzielenie mu nominacji ubiegał się osobiście egzarcha Gruzji, arcybiskup Nikon, w planach którego nowy hierarcha miał opiekować się Rosjanami zamieszkującymi Kaukaz. Chirotonia biskupia archimandryty Grzegorza odbyła się w petersburskiej Ławrze św. Aleksandra Newskiego 9 maja 1907. Okres jego działalności na Kaukazie, jako biskupa pomocniczego, przypadł na czas zaostrzenia walki politycznej między caratem a organizacjami niepodległościowymi narodów kaukaskich. Gdy 28 maja 1908 egzarcha Nikon został zamordowany, biskup Grzegorz do grudnia roku następnego był locum tenens eparchii kartlijskiej i kachetyńskiej.
W grudniu 1910 Świątobliwy Synod Rządzący wyznaczył go na biskupa orłowskiego i siewskiego. Od momentu przybycia na nową katedrę w lutym 1911 biskup Grzegorz odbył szereg podróży po całej administraturze, organizował wieczory muzyczne i literackie w szkołach, opiekował się wdowami i sierotami po duchownych. Po wybuchu I wojny światowej organizował zbiórki pieniężne, tworzył szpitale polowe i udostępniał mieszkania dla uchodźców, przeznaczył na ten cel dotychczasową rezydencję biskupią.