Dopiero począwszy od 1737 r., po przegnaniu Francuzów, Fernando de Noronha ostatecznie przeszły pod władzę Portugalczyków. Tym razem zdecydowali się oni na ich fortyfikację. Forty zostały wzniesione w każdym punkcie gdzie mógł nastąpić potencjalny atak, 9 na głównej wyspie i jeden na Ilha de São José, położony na wprost portu Saint Anthony. Forty połączono siecią brukowanych dróg. Ten system obronny zaprojektował portugalski inżynier wojskowy Diogo da Sylveira Vellozo. Około 1770 r. założono pierwsze stałe osiedle, Vila dos Remédios. Wieś została podzielona na dwie części (pátios); w wyżej położonej mieściły się budynki administracji, w dolnej zaś kościół i inne budynki wzniesione dla celów religijnych.
Uzyskanie niepodległości przez Brazylię nie przyniosło większych zmian dla wysp.
W początkach XX w. pojawili się Anglicy, celem technicznej kooperacji w budowie sieci telegraficznej (The South American Company). Później w tym samym celu Francuzi z French Cable i Włosi z Intalcable. W 1942, podczas II wojny światowej, archipelag uczyniono Terytorium Federalnym, do którego przyłączono też atol Rocas oraz wysepki, a właściwie skały Świętego Piotra i Pawła. W miejscowym więzieniu przetrzymywano brazylijskich więźniów zarówno politycznych, jak i kryminalnych.