Zamek Wiesiołowskich Pierwsze przekazy o istnieniu osady w miejscu pałacu, które zostały potwierdzone wykopaliskami archeologicznymi z 2009 roku, pochodzą z XVI wieku. Znajdował się tu w tym czasie prawdopodobnie dwór sekretarza królewskiego Mikołaja Raczkowicza, po którego śmierci jego żona Katarzyna Wołłowiczówna wniosła go do majątku swojego drugiego męża Piotra Wiesiołowskiego. Na jego też polecenie budowniczy królewski Hiob Bretfus wzniósł w Białymstoku murowany gotycko-renesansowy zamek. Posiadał on dwie kondygnacje, a dostępu do niego broniły fosa i umocnienia ziemne. Syn Piotra – Krzysztof Wiesiołowski został marszałkiem wielkim litewskim. Przed bezpotomną śmiercią w 1637 roku, zapisał swoje dobra skarbowi Rzeczypospolitej, a wdowa po nim otrzymała zamek jedynie dożywotnioWątki gotyckie Pałacu Branickich w Białymstoku, [w:] Ochrona Zabytków 1952, R.5, nr.5, s. 287.J.Glinka Zamek obronny w Białymstoku w XVI i XVII wieku, [w:] Rocznik Białostocki, T.III, 1961, s. 72–76..
W okresie potopu szwedzkiego w białostockim zamku przebywała chorągiew litewska podległa Januszowi Radziwiłłowi.