8 kwietnia 1921 „za walki z niemcami w Poznańskiem" odznaczono go krzyżem „Virtuti Militari" V klasy.
Ostatnie lata życia Gorzeński został pierwszym po odzyskaniu niepodległości Honorowym Obywatelem Miasta Jarocina. Imieniem hrabiego nazwano także plac w Jarocinie (później zwany także imieniem Bohaterów Stalingradu, następnie Parkiem Zwycięstwa, a od dnia 29 listopada 2016 ponownie imieniem GorzeńskiegoUchwała nr XXXIX/446/2016 Rady Miejskiej w Jarocinie z dnia 9 listopada 2016 r. w sprawie zmiany nazwy zwyczajowej Park Zwycięstwa na Park im. majora Zbigniewa hr. Ostroroga - Gorzeńskiego w miejscowości Jarocin.; w mieście istnieje ponadto ulica do dziś nosząca imię Gorzeńskiego). Ze względu na zły stan zdrowia, przeniesiony w dniu 24 marca 1920 do rezerwy. Rok później, 28 maja, został awansowany do stopnia majora. Zweryfikowany w tym stopniu ze starszeństwem z 1 czerwca 1919 w korpusie oficerów piechoty. W 1922 był oficerem rezerwy 81 Pułku Piechoty. W następnym roku był oficerem rezerwy 14 Pułku Ułanów Jazłowieckich we Lwowie. W 1924 został ponownie przeniesiony do korpusu oficerów pospolitego ruszenia piechoty i przydzielony do 69 Pułku Piechoty w Gnieźnie.