Początkowo pracował jako asystent sędziego, następnie rozpoczął własną praktykę adwokacką. W czasach NRD Gysi bronił opozycjonistów oskarżanych w procesach politycznych. Był obrońcą m.in. Rudolfa Bahro, Roberta Havemanna i Bärbel Bohley. Od kwietnia 1988 do grudnia 1989 był przewodniczącym Kolegium Prawników w Berlinie Wschodnim i jednocześnie przewodniczącym Rady Kolegiów Adwokackich NRD.

Od 1989 do 1990 roku był członkiem Izby Ludowej Niemieckiej Republiki Demokratycznej. Po przekształceniu SED w Partei des Demokratischen Sozialismus (PDS), został jej liderem. Po zjednoczeniu Niemiec został członkiem Bundestagu i szefem klubu parlamentarnego PDS. Pełnił mandat deputowanego przez kolejne kadencje do 2002 roku. W 2001 roku Gysi został członkiem berlińskiej Izby Deputowanych. 17 stycznia 2002 został zastępcą burmistrza Berlina i senatorem ds. gospodarki, pracy i kobiet w gabinecie kierowanym przez Klausa Wowereita. 31 lipca 2002 zrezygnował ze wszystkich stanowisk w związku z tzw. aferą Bonusmeilen, związaną z wykorzystaniem przez deputowanych darmowych, służbowych przelotów lotniczych do celów prywatnych. mały|Gregor Gysi i Lothar de Maiziere (1990) W wyborach do Bundestagu w 2005 powrócił do parlamentu, zdobywając mandat większościowy z okręgu Berlin-Pankow z wynikiem 40,4% głosów.