W czasie Potopu szwedzkiego pałac został obrabowany, ale nie zniszczony, natomiast kolejny raz wojska szwedzkie uszkodziły budynek na początku XVIII wieku podczas III wojny północnej. Obiekt wyremontował w 1716 roku biskup Ludwik Bartłomiej Załuski, co upamiętnił tablicą nad wejściem. W 2 połowie XVIII wieku odnotowano zarysowanie murów. Około 1770 roku sporządzono pierwszy zachowany do dzisiaj rysunek pałacu. Opuszczony i zrujnowany pałac w 1822 roku został upaństwowiony i oddany w dzierżawę. W 1831 roku spłonęły dachy podczas jednej z zabaw. W 1851 roku w kaplicy mieszkał ogrodnik, a w głównym skrzydle były mieszkania, chlew a następnie fabrykaWiktor Gomulicki, „Ruiny zamku biskupiego w Broku”, Tygodnik Ilustrowany, nr 17 (1910), s. 334.. W połowie XIX wieku dokonano częściowej rozbiórki murów. W 2 połowie XIX wieku właścicielem obiektu był Władysław Rozbickihttps://madzelan.cba.pl/wp-content/uploads/2022/02/O-tym-jak-to-z-ruin-brokowskiego-zamczyska-nic-si%C4%99-prawie-nie-osta%C5%82o-a-tak%C5%BCe-troszk%C4%99-o-tutejszej-%C5%9Bwi%C4%85tyni.pdf. W marcu 1910 roku pałac oglądała komisja Polskiego Towarzystwa Krajoznawczego Oddział w Łomży.