Oblężenie w 1600 roku Po śmierci Hideyoshiego w 1598 roku zamek przeszedł pod kontrolę Ieyasu Tokugawa, który osadził w nim swojego lojalnego wasala, Toriiego Mototadę. W 1600 roku, w trakcie kampanii prowadzącej do bitwy pod Sekigaharą, zamek został oblężony przez 40-tysięczną armię Ishidy Mitsunariego.
Mototada, dysponując siłami zaledwie 1,8 tys. żołnierzy, bronił zamku przez dziesięć dni. Opóźnienie to dało Ieyasu cenny czas na przegrupowanie swoich sił. Mimo zaciekłej obrony, 8 września 1600 roku zamek został podpalony, a obrońcy pokonani. Torii Mototada popełnił seppuku.
Zniszczenie i rozbiórka Zamek został odbudowany około 1602 roku przez Ieyasu Tokugawę. W 1603 roku odbyła się w nim ceremonia, podczas której oficjalnie nadano mu tytuł sioguna. Jednak po 1615 roku budowla zaczęła tracić na znaczeniu. Ostatecznie w 1623 roku zamek został rozebrany.
Wiele jego części zostało przeniesionych do innych zamków i świątyń. Uważa się, że brama kara-mon do świątyni Nishi Hongan-ji w Kioto, a donżon do zamku Nijō.