W roku 1500 w ramach modernizacji murów nastąpiło podwyższenie wieży o czwartą kondygnację, wieża otrzymała również profilowane okna ostrołukowe.
Wieża Klesza była istotnym elementem fortyfikacji Braniewa i razem z innymi obiektami niejednokrotnie stanowiła o skutecznej obronie podczas oblegania miasta, m.in. podczas wojny trzynastoletniej w 1455 przez Krzyżaków, a w 1461 i 1462 przez wojska polskie, czy podczas wojny popiej w 1478, gdy miasto oblegane było znów przez Polaków.
W 1565 kardynał Stanisław Hozjusz sprowadził do Braniewie jezuitów, którzy przejęli pofranciszkański klasztor wraz z narożnikową Wieżą Kleszą. 21 sierpnia 1565 decyzją warmińskiego synodu diecezjalnego powstało tu pierwsze seminarium duchowne na ziemiach polskich (Collegium Hosianum), jako skutek realizacji uchwał soboru trydenckiego. Wieża Klesza, razem z całym klasztorem, wchodzi w jego skład.