Zwyciężył w wadze piórkowej na mistrzostwach Europy w 1979 w Kolonii, gdzie w ćwierćfinale pokonał Rudiego Finka z NRD, w półfinale Kazimierza Przybylskiego, a w finale Caczo Andrejkowskiego. Ponownie zdobył brązowy medal na igrzyskach olimpijskich w 1980 w Moskwie, tym razem w wadze piórkowej. Po wygraniu trzech walk (w ćwierćfinale z Andrejkowskim) uległ w półfinale późniejszemu mistrzowi Rudiemu Finkowi. Na mistrzostwach Europy w 1981 w Tampere zdobył swój trzeci złoty medal w trzeciej kolejnej kategorii lekkiej (do 60 kg). Wygrał pięć pojedynków, w tym finałowy z Carlo Russolillo z Włoch. Zakończył karierę bokserską w 1982.
Wiktor Rybakow był mistrzem ZSRR w wadze koguciej w 1975 i 1976, w wadze piórkowej w 1977, 1978, 1979 i 1980 oraz w wadze lekkiej w 1982.
Później był trenerem reprezentacji ZSRR, a następnie NRD. W 1985 został aresztowany pod zarzutem przemytu zagranicznych towarów do ZSRR i skazany na sześć lat więzienia. Został zwolniony po trzech latach i wyemigrował do Kanady. Tam stoczył jedną zawodową walkę bokserską (wygraną przez techniczny nokaut. W połowie lat 90. powrócił do Rosji i z powodzeniem zajął ie działalnością gospodarczą.