od tego momentu zamek znajdował się w posiadaniu tego rodu. W 1776 roku 1. markiz Bute zlecił Henry’emu Hollandowi przebudowę zachodnich apartamentów, a Lancelotowi Brownowi urządzenie ogrodów. W roku 1850 pewne prace przy Czarnej Wieży wykonał John Prichard.
John Crichton-Stuart, 2 markiz Bute przyczynił się do tego, iż Cardiff stał się w największym na świecie portem eksportującym węgiel. Zamek i majątek rodzinny przeszły w ręce jego syna, Johna Crichton-Stuarta, 3. markiza Bute, który w latach 60. XIX wieku cieszył się sławą najbogatszego człowieka na świecie. W 1866 roku zlecił on architektowi Williamowi Burgesowi przebudowę zamku. Wewnątrz gotyckich wież Burges stworzył bogate i wystawne wnętrza, ozdobione muralami, witrażami, marmurami, złoceniami i drewnianymi rzeźbami, nadając każdemu pomieszczeniu indywidualny klimat.
XX wiek 3. markiz zmarł w 1900 roku, a dzieło przebudowy ukończył jego syn, nadając zamkowi charakter rezydencji z epoki wiktoriańskiej. Bute'owie mieszkali na zamku w latach 20. i 30. Po śmierci 4. markiza Bute jego rodzina postanowiła przekazać zamek wraz z parkiem, znanym jako Bute Park, miastu Cardiff.