Cmentarz został zniszczony przez nazistów. W późniejszych latach aktów dewastacji i profanacji tego miejsca dokonywała również miejscowa ludność, która, wierząc w lokalne historie, poszukiwała bogactw, rzekomo zakopanych tam przez opuszczającą miasto ludność żydowską.
Nowy cmentarz został założony w okresie międzywojennym już w samym mieście, przy ulicy Wojska Polskiego. Gmina żydowska w roku 1925 kupiła ten teren od ewangelików. Cmentarz zajmował ok. 30 arów ziemi. Rosły tam kasztany, tworząc aleję z drzew i dzieląc obszar na 3 części, w których grzebano zmarłych. On również został zniszczony przez nazistów, a następnie przez rząd komunistyczny, który mając w pogardzie miejsca związane z kulturą żydowską wyznaczył teren cmentarza na miejsce, w którym powstały budynki miejskiej przychodni i pogotowia ratunkowego oraz stacji paliw.
Struktura demograficzna Tczewa uległa gwałtownej zmianie na przełomie dziewiętnastego i dwudziestego wieku, kiedy ludność żydowska, pragnąc poprawić swoją sytuację gospodarczą, masowo opuszczała Polskę (emigracja m.in. do USA).