15 lipca 1986 został mianowany arcybiskupem Wiednia, otrzymał sakrę biskupią 14 września 1986. Zastąpił na tym stanowisku emerytowanego kardynała Königa. Arcybiskup Groër został także zwierzchnikiem wiernych rytu bizantyjskiego osiadłych w Austrii. W czerwcu 1988 Jan Paweł II wyniósł go do godności kardynalskiej, nadając mu tytuł prezbitera kościoła Ss. Gioacchino ed Anna al Tuscolano. Wziął udział w trzech sesjach Światowego Synodu Biskupów w Watykanie (1990, 1991, 1994).
Skandale seksualne, dalsze życie i śmierć 13 października 1994 Groër skończył 75 lat. Zgodnie z prawem kanonicznym zgłosił papieżowi gotowość do przejścia na emeryturę, jednak papież poprosił go o dalsze piastowanie swojego urzędu.
27 marca 1995 r. austriacki tygodnik Profil opublikował wywiad z Josefem Hartmanem, który twierdził, iż w latach 1972–1976, gdy był studentem seminarium w Hollabrunn, Groër jako jeden z jego wykładowców wykorzystywał go seksualnie. Pierwszy raz miało to miejsce gdy Hartman miał 13 lat. Biskupi austriaccy w odpowiedzi na te doniesienia prasowe ogłosili, iż „zawiązano spisek przeciwko Kościołowi”, natomiast do prasy zaczęły dopływać informacje od innych osób molestowanych przez GroëraJason Berry, Gerald Renner, Śluby milczenia. Nadużywanie władzy za pontyfikatu Jana Pawła II.