20 marca 1962 rozpoczęto testy państwowe seryjnego Jaka-28, w którym wprowadzono zmiany poprawiające charakterystykami startu i lądowania. Samolot dostosowano do montażu rakiet startowych, na przedniej goleni podwozia zamontowano hamulcowe KT-82 oraz zamontowano spadochron hamujący. Po zakończeniu testów zmiany zostały wprowadzone w samolotach produkowanych seryjnie.
W 1965 rozpoczęto budowę kolejnej wersji samolotu, która otrzymała oznaczenie Jak-28N. Samolot miał zmodyfikowane węzły podwieszenia uzbrojenia oraz zmienione anteny stacji naprowadzania. W 1969 opracowano modyfikację Jak-28IM, która była wyposażona w cztery podskrzydłowe węzły mocowania uzbrojenia. Wobec wprowadzania do uzbrojenia samolotów Su-17 i Su-24 zrezygnowano z prac nad tą wersją.