Szeroki portyk wgłębny z dostępem do wody, najbardziej obszerny w Wenecji po portyku zbudowanego później Pałacu Dożów, okazał się bardzo przydatny do załadunku i rozładunku towarów, dzięki czemu budynek później stał się rezydencją kupców. Od samego początku uchodził on za jeden z najbardziej prestiżowych obiektów spośród tych, których fasady wychodziły na Canal Grande. Z tego powodu Senat Wenecji kupił go w 1381 roku za 10 tysięcy złotych dukatów, by przekazać go następnie Mikołajowi II d’Este, markizowi Ferrary, w charakterze nagrody za lojalność wobec Republiki Weneckiej podczas wojny pod Chioggią, którą toczyła ona z Republiką Genui. Od tego czasu budynek był kilkakrotnie przekazywany i odbierany rodzinie Este, w zależności od stosunków między rodziną a władzami Republiki. W 1509 roku po tym, jak Alfons I d’Este przystał do antyweneckiej Ligi w Cambrai, budynek został skonfiskowany i przekazany papieżowi Juliuszowi II, który przeznaczył go na siedzibę nuncjusza apostolskiego w Republice. Później pałac przeszedł w ręce papieża Leona X, który z kolei przekazał go prałatowi Altobello Averoldo. W 1527 roku, gdy rodzina Este po raz kolejny sprzymierzyła się z Wenecją, władze Republiki ponownie przekazały jej budynek.