14 czerwca 1802 roku rozpoczęto rozbiórkę budynku. Na jego miejscu powstał nowy gmach, oddany do użytku w 1829 roku. Neoklasycystyczny budynek zaprojektował budowniczy miejski Heckert. Początkowo budynek nosił nazwę Dworu Artusa, w 1842 roku został nazwany Teatrem Miejskim. W jej pomieszczeniach odbywały się uroczystości miejskie, spotkania bractw cechowych i bale. W lutym 1889 roku rozpoczęto wyburzanie budynku.
W drugiej połowie XIX wieku rozpoczęto budowę nowego Dworu, według projektu radcy budowlanego Rudolpha Schmidta. Współautorem projektu był również architekt Duszyński. Międzyczasie niemiecki architekt Reinhard Uebrick przedstawił swój projekt przebudowy Dworu, jednak jego propozycja nie doczekała się realizacji. Nowy gmach budowano w latach 1889–1891, na miejscu drugiego Dworu Artusa oraz sąsiadującego z nim od strony zachodniej gmachu. Oficjalnie został oddany do użytku 12 grudnia 1891 roku. Na parterze zlokalizowano sklepy i restaurację, na piętrze cztery sale (Wielka, Biała, Czerwona i Mała), na poddaszu pokoje gościnne. W 1904 roku przeprowadzono prace malarskie w budynku głównym, dwa lata później w oficynie tylnej.