Samolot został skierowany do testów państwowych. Podczas jednego z lotów doszło do uszkodzenia instalacji paliwowej ale załoga zdołała bezpiecznie wylądować w przygodnym terenie. Pozytywne wynik prób oraz fakt, że był to jedyny bombowiec w ZSRR zdolny przenieść 1200 kg uzbrojenia na pułapie 10 000 m z prędkością 1400 km/h spowodowało podjęcie decyzji o skierowaniu maszyny do produkcji seryjnej.
Podjęły ją zakłady lotnicze w Irkucku, gdzie do pomocy skierowano część pracowników OKB-115. Jak wzorzec do produkcji przyjęto drugi prototyp, maszyna seryjna otrzymała oznaczenie Jak-28B. Zapadła też decyzja o kontynuowaniu prac rozwojowych. Zdecydowano się na wyposażenie samolotu w radar, modyfikację celownika oraz dodanie uzbrojenia pokładowego w postaci działka NR-23. Modyfikacji uległ również silnik R-11AF-300 – wzrosła siła ciągu z dopalaczem. Tak zmodyfikowany samolot wprowadzono do produkcji w 1960 roku.