W miarę upływu czasu gród zyskiwał coraz większe znaczenie. Na początku XIII wieku awansował do roli kasztelańskiego, a okresowo był siedzibą książęcą (1314-1323) Przemysła Siemomysłowica. Na skutek zmian klimatycznych prowadzących do podniesienia poziomu wody w Brdzie, podgrodzie porzucono ok. połowy XIII wieku. Mieszkańcy przenieśli się prawdopodobnie na południowy wschód w rejon powstałego kościoła św. Idziego. Gród kasztelański funkcjonował do lipca 1330 r., kiedy został zniszczony i spalony przez KrzyżakówGród bydgoski był zdobywany dwukrotnie. W lipcu 1330 r. został spalony, po czym w październiku 1330 r. w wyniku pertraktacji Władysława Łokietka z Krzyżakami został zwrócony Polsce. Kolejny najazd krzyżacki miał miejsce latem 1331 r. i był on początkiem 6-letniej okupacji.
Na jego miejscu zgodnie z życzeniem Kazimierza Wielkiego zbudowano w latach 1347–1360 zamek królewski.
Ostateczne zniwelowanie pozostałości grodziska miało miejsce w końcu XIX wieku podczas rozbiórki zamku przez Prusaków. Obok zbudowano farę ewangelicką (obecnie katolicki pw. św. Andrzeja Boboli).