Do prac projektowych wykorzystano jeden z seryjnych samolotów Jak-26, w którym wprowadzono daleko idące zmiany. Zwiększono sztywność skrzydła, zwiększono powierzchnię płata, przekonstruowano lotki i klapy. Podniesienie miejsca zamontowania skrzydła do kadłuba pozwoliło na montaż większych a zatem mocniejszych silników oraz powiększenie komory bombowej. Budowa prototypu została zakończona zgodnie z planem na początku 1958 roku. Został wyposażony w dwa silniki Tumański R-11A-300. Oblot odbył się 5 marca 1958 roku.
4 października zakończono próby fabryczne. Samolot osiągał prędkość maksymalną 1500 km/h, pułap 16300 metrów w 3,5 minuty, samolot miał dobre charakterystyki startu i lądowania. W konstrukcji wprowadzono drobne zmiany, które pozwoliły na poprawę stateczności podłużnej. Nowa konstrukcja oficjalnie otrzymała oznaczenia Jak-28.
Drugi prototyp powstał również poprzez przebudowę samolotu Jak-26. Wyposażono go w mocniejsze silniki R-11AF-300, przekonstruowano gondole, w których były zamontowane. W ramach testów przeprowadzono próby startu z lotniska gruntowego z symulowaną masą uzbrojenia wynoszącą 1500 kg oraz przeprowadzono próby bombardowania w locie z prędkością naddźwiękową.