W latach 1760. dwa te domy zajmowane były przez Fra Raimondo de Sousa y Silva, bogatego portugalskiego rycerza, który był Bailiffem Lessy. W latach 1761–1763 Skarb Zakonu przebudował domy do formy znanej do dzisiaj, aby polepszyć warunki zamieszkania bailiffa, i budynek zaczął być znany jako Palazzo Don Raimondo, od imienia lokatora. Plany przebudowy są przypisywane architektowi Andrea Belli, który przeprojektował też Zajazd Kastylijski. Materiał na budynek – wapień, dostarczony był z kamieniołomu we Florianie.
thumb|Freski na suficie w budynku Admiralicji De Sousa zmarł w roku 1782, w latach 1783–1785 budynek został podzielony na kilka apartamentów. Następnie znów powrócił do stanu jednej rezydencji, by ponownie być wynajętym kilku rycerzom. W czasie swej historii budynek znany był pod kilkoma nazwami, pochodzącymi od nazwisk jego mieszkańców, jak Maison Arifat, Casa de Guerche oraz Maison Fleurigny. W późnych latach XVIII i początkiem XIX wieku znany był pod nazwą Casa Miari, od Fra Antonio Miari di Belluno, sekretarza Wielkiego Mistrza Ferdynanda von Hompesch, który mieszkał w tym domu w latach 1795–1798.