Ściana z Aron ha-kodesz zwrócona była w stronę Jerozolimy. Ponadto nad główna salą znajdował się babiniec w formie balkonu sięgającego ⅓ jej długości, na którym zostały umieszczone ustawione w różnych kierunkach ławki. Na babiniec prowadziły schody z holu synagogi.
Podczas II wojny światowej hitlerowcy zburzyli synagogę i stojące wokół niej zabudowania, co nastąpiło w latach 1940–1943. Po zakończeniu wojny na ich miejscu wzniesione zostały budynki Zespołu Szkół Budowlano-Drzewnych. Do czasów współczesnych zachowały się drzewa otaczające dawniej synagogę.
7 lipca 2003 roku na placu gdzie stała synagoga odsłonięto pomnik autorstwa Mirosława Ciślaka, upamiętniający istnienie synagogi. Całość stanowi głaz piaskowca o masie czterech ton, w który zamontowano dwie tablice z brązowego granitu ze złotymi napisami w języku polskim i hebrajskim, o treści: „W tym miejscu stała synagoga „Tempel” która została zburzona przez nazistowskiego okupanta w czasie II wojny światowej. Pamięci Żydów ziemi żywieckiej – mieszkańcy Żywca – lipiec 2003”.