Ze Starą Szkołą związany był František Škroup, kompozytor czeskiego hymnu, który grał w niej na organach.
Plany nowej budowli opracowali architekci Vojtěch Ignác Ullmann i Josef Niklas, a robotami budowlanymi kierował Jan Bělský. Dekorację wnętrza w stylu mauretańskim wykonano w latach 1882–1893 według projektu Antonína Bauma i Bedřicha Münzbergera.
W 1935 roku do synagogi dobudowano według projektu architekta Karla Pecánka funkcjonalistyczny budynek. Do II wojny światowej mieścił on szpital, a z synagogą łączyły go westybul i zimowa sala modlitewna.
Podczas II wojny światowej synagoga służyła jako magazyn przedmiotów skonfiskowanych czeskim gminom żydowskim. W 1955 roku budynek przejęło pod opiekę Państwowe Muzeum Żydowskie. W latach 1958–1959 przeprowadzono generalną rekonstrukcję wnętrza, a w 1960 roku otwarto ekspozycję tkanin synagogalnych. Od lat 70. obiekt był zaniedbywany, a w 1982 roku został zamknięty. Kolejną gruntowną renowację przeprowadzono w latach 1995–1998; po jej zakończeniu synagogę ponownie udostępniono publiczności.