Samolot został przekazany do eksploatacji w jednostkach liniowych. Po pewnym czasie do konstruktorów zaczęły wpływać zgłoszenia o stwierdzonych wadach konstrukcyjnych. Dochodziło do pękania poszycia i elementów konstrukcyjnych oraz asynchronicznej pracy klap i ich zacinania się. Okazało się również, że konstrukcja kadłuba została niewłaściwie uszczelniona co powodowało gromadzenie się wody i jej zamarzanie podczas lotów na dużej wysokości. To z kolei prowadziło do awarii systemów elektronicznych.
W 1960 rozpoczęto testowanie samolotu wyposażonego w układ naprowadzania radiowego DBS-2S „Lotos” oraz zmodyfikowane uzbrojenie strzeleckie. Po zakończeniu prób zmodyfikowany samolot wdrożono do produkcji jako Jak-28L.
Również w 1960 do testów skierowano kolejną wersję - Jak-28I. Samolot był wyposażony w nowy system kierowania uzbrojeniem składający się z nowego radaru, celownika optycznego oraz autopilota. Zmieniono konstrukcję przedniej części kadłuba co poprawiło widoczność z kabiny nawigatora oraz przekonstruowano nasadę skrzydła.
Jak-28B został po raz pierwszy zaprezentowany publicznie podczas parady lotniczej w Tuchino w 1961 roku.