Tuż po zawarciu pokoju w 1763, został gubernatorem Flandrii i Hainaut, następnie capitaine lieutenant kompanii żandarmerii szkockiej (Garde Écossaise) i kapitanem żandarmerii w 1770 roku (do emerytury w 1788).
1780–1788 13 października 1780 został ministrem floty, na które to stanowisko promował go jego przyjaciel Jacques Necker. Pełnił tę funkcję do dnia 24 sierpnia 1787. W 1783 został Marszałkiem Francji. Zreformował flotę, przekonując Wielka Radę Królestwa (Grand Conseil) by liniowce francuskie stale były w morzu i blokowały Royal Navy, zapobiegając opuszczenie przez brytyjskie statki wojenne portów. Strategia ta zaowocowała sukcesami podczas amerykańskiej wojny o niepodległość. De Castriesand uprościł też hierarchię stopni wojskowych w marynarce i zreorganizował rekrutację. Miał opinię człowieka energicznego i nie tracącego czasu; mawiał „Chciałbym spać szybciej” (Je voudrais dormir plus vite).
W polityce raczej konserwatysta. Jego Réflexions sur l'esprit public, zaadresowane do króla w roku 1785 stwierdzał, że kłopoty Francji wynikają przede wszystkim z braku dyscypliny. Jego zdaniem „należało okazać zdecydowanie i siłę, a wszystko wróci do normy”.