W 1329 roku należący do inflanckiej gałęzi zakonu krzyżackiego zamek przejęli mieszczanie Rygi. W roku 1435 zostali jednak zmuszeni do zwrócenia zamku Dyjament krzyżakom. W roku 1481 krzyżacy, chcąc zniszczyć handel ryski, zamknęli dla żeglugi ujście Dźwiny za pomocą przeciągniętego między brzegami żelaznego łańcucha. W odpowiedzi mieszczanie zdobyli i zniszczyli zamek Dyjament. Rycerze zakonni przystąpili do odbudowy zamku 8 lat później. Ponieważ Ryga była pod kontrolą arcybiskupa ryskiego, rzeczywista stolica inflanckiej gałęzi zakonu krzyżackiego mieściła się w Dyjamencie.
W 1561 roku podczas wojny litewsko-rosyjskiej Dyjament wraz z całymi Inflantami wszedł w skład Rzeczypospolitej. W 1582 roku jego fortyfikacje zostały rozbudowane przez Stefana Batorego, a pracami kierował włoski inżynier Simone Genga z Urbino. Podczas wojny polsko-szwedzkiej 1600–1611 twierdza w lipcu 1608 roku poddała się po oblężeniuAdam St. Naruszewicz, „Historya J.K. Chodkiewicza, Wojewody Wileńskiego, Hetmana Wielkiego W. Ks. Lit.”, Lipsk 1837, t. I, str. 180. szwedzkim wojskom hrabiego Fryderyka Joachima Mansfelda. W 1609 roku twierdza, broniona przez 250 szwedzkich żołnierzy, odzyskana została przez hetmana wielkiego litewskiego Jana Karola Chodkiewicza. Próba zdobycia twierdzy przez Szwedów w 1617 roku zakończyła się niepowodzeniem.