Został zastąpiony przez nowocześniejszy Su-24MP.
Wprowadzenie do służby Jaka-28 spowodowało zapotrzebowanie na maszynę treningową. W 1962 zbudowano wersję dwuosobową o oznaczeniu Jak28U. W komorze bombowej zainstalowano dodatkowy zbiornik paliwa o pojemności 1359 litrów, miejsce nawigatora przebudowano na kabinę ucznia. Samolot skierowano na testy państwowe, które trwały od 23 listopada 1962 do 15 marca 1963. Konstrukcja wymagała poprawek, po ich wprowadzeniu samolot został zaakceptowany 3 września 1964.
W 1960, na bazie Jak-27K i Jak-28, powstał nowy projekt naddźwiękowego myśliwca przechwytującego o oznaczeniu Jak-28P. Został zaprojektowany do zwalczania celów powietrznych na niskich i średnich wysokościach w szerokim zakresie prędkości, niezależnie od pory dnia i pogody. Samolot został wyposażony w zmodyfikowany system uzbrojenia K-8M-1, który składał się z dwóch pocisków rakietowych R-8M-1 z półaktywnymi głowicami naprowadzania termicznego i radarowego, urządzeń startowych oraz radaru Oriel-D. Samolot nie miał zamontowanego uzbrojenia strzeleckiego.