Od 1282 roku miejscowa siedziba władz biskupich była już określana jako zamek.
Pierwsze mury otaczające główną część Nysy (Nowe Miasto) powstały w drugiej połowie XIV wieku w czasach biskupa Przecława z Pogorzeli. Tworzyły one zamknięty obwód kształtem zbliżony do czworoboku, o zaokrąglonych narożach, z licznymi basztami. Dodatkowe zabezpieczenie stanowiło przedmurze (w niektórych miejscach nawet podwójne). Całość fortyfikacji otaczała fosa, zasilana przez rzeki Nysę Kłodzką i Białą Głuchołaską, płynące wówczas w tym miejscu niemal równolegle. Komunikacja z miastem odbywała się przez mosty, prawdopodobnie zwodzone. Wszystkie bramy miejskie (Wrocławska na północy, Ziębicka na zachodzie, Bracka po stronie południowo-zachodniej i Celna na południu) wyposażone zostały w wysokie wieże obronne.
Obszar średniowiecznego tzw. Starego Miasta (dzisiejsza dzielnica Średnia Wieś), o luźniejszej zabudowie i nieregularnym układzie przestrzennym, był wówczas otoczony odrębnymi fortyfikacjami, zapewne w formie wału ziemnego z częstokołem.