Budynek uległ pożarowi pierwszy raz w 1463 roku. Spłonął całkowicie w 1547 roku razem z większością zabudowy Bisztynka po czym został odbudowany. W roku 1589 ratusz wymieniano jako halę targową, a na jego parterze mieściły się składy kupieckie. Bisztynek spłonął doszczętnie ponownie w 1589 roku. Podczas pożaru spalił się dach, pierwsze piętro oraz budy otaczające ratusz. Budynek został następnie ponownie odbudowany.
Pod koniec XIX wieku od strony szczytu północno-zachodniego, w miejsce kramów, wybudowano budynek sądu. Do ratusza zaczęto dobudowywać małe kamienice. W 1772 roku było ich około 10, w roku 1900 już tylko 5. Kamienice nie zasłaniały jedynie ściany głównej, z głównym wejściem. Władze miasta podejmowały różne zabiegi, aby wykupić przybudówki i je usunąć, lecz te istniały do zniszczenia budynku. Budynek uległ spaleniu w pożarze w 1939 roku, w wyniku podpalenia przez jednego z mieszkańców miasta. Za pośrednictwem władz miasta oraz konserwatora zabytków planowano odbudowę ratusza, w pierwotnej gotyckiej formie z 1589 roku bez przybudówek. Budynek miał być wyposażony w gotyckie okna i odpowiednie sklepienia. Miało to być miejsce reprezentacyjne miasta. Wnętrze miało składać się z kilku dużych sal m.in. sądowej. Z planów odbudowy zrezygnowano podczas II wojny światowej.