W okresie „potopu” przez Sereje przechodziło wojsko cara Alekseja (1655). Ludwika Karolina Radziwiłł, córka Bogusława Radziwiłła wniosła Sereje jako posag do związku z Ludwikiem księciem neuburskim w 1688 r. Po jej śmierci w 1695 r. wskutek skomplikowanych działów spadkowych Sereje stały się własnością elektora brandenburskiego Fryderyka III Hohenzollerna, a od 1701 r. króla pruskiego Fryderyka I, jednakże formalnie pozostawały częścią Rzeczypospolitej. W rękach Hohenzollernów Sereje pozostawały do 1806 r., mimo że wcześniej w 1793 r. sejm grodzieński próbował na wniosek bp. Kossakowskiego wymusić na królu pruskim rezygnację z Serejów i Taurogów. W 1795 Sereje zostały częścią Prus po III rozbiorze Polski. Po 1807 wraz z Suwalszczyzną część Księstwa Warszawskiego, a od 1815 Królestwa Polskiego. Za Królestwa Polskiego istniała wiejska gmina Sereje.
Sereje był świadkiem wielu kampanii wojennych (1812, 1914–1915, 1941–1944), jak też powstań narodowych (1831, 1863). Po powstańcach z 1830-31 i 1863-64 r. pozostały mogiły we wsiach Mockoniach, Stogastulpiach, Staciszkach. W 1870 roku miasteczko miało 3662 mieszkańców. Władze carskie odebrały prawa miejskie 31 maja 1870 w ramach represji po powstaniu styczniowym. Przed rokiem 1914 mieszkało w Serejach 4 tys. mieszkańców, z tego 3 tys. Żydów.