Pałac przeszedł z powrotem w ręce Earlów Suffolk w 1701 i stopniowo, w przeciągu następnego stulecia, został częściowo rozebrany, do rozmiarów, jakie posiada obecnie.
W 1762 jeden z kolejnych właścicieli, Sir John Griffin, późniejszy czwarty baron Howard de Walden i pierwszy Baron Baybrooke wynajął Capability Browna do przeprowadzenia gruntownej rearanżacji założenia parkowego i szkockiego architekta Roberta Adama do przebudowy pałacu. thumb|320px|Gen. Władysław Sikorski w ośrodku szkoleniowym cichociemnych w Audley End dekoruje ppor. Michała Fijałkę Orderem Virtuti Militari. W pierwszym szeregu stoją od lewej po cywilnemu: ppor. Jan Woźniak, por. Bolesław Kontrym, por. Tadeusz Gaworski, por. Hieronim Łagoda, za nim ppor. Władysław Kochański, por. Leonard Zub-Zdanowicz, por. Stanisław Winter (28 sierpnia 1942)