W 1762 roku pozostałości budynków kupił generał Fryderyk August Cosel, syn saskiego elektora i króla Polski, Augusta II Mocnego oraz jego metresy, hrabiny Anny Konstancji Cosel. Na miejscu ruin, w oparciu o istniejącą strukturę budowlaną, do 1764 roku powstał rokokowy pałac, którego budowę generał zlecił architektowi Juliusowi Heinrichowi Schwarzemu. Pałac ten składał się z głównego budynku, odwróconego od Kościoła Marii Panny o dziewięćdziesiąt stopni i posiadającego okazały portal wejściowy oraz szczyt, w którym umieszczony był herb Fryderyka Augusta Cosela oraz dwóch dwukondygnacyjnych skrzydeł, pomiędzy którymi znajdował się mały dziedziniec. Wokół dziedzińca znajdowało się ozdobne ogrodzenie z wykonanymi z piaskowca filarami, zwieńczonymi rzeźbami przedstawiającymi dzieci. Generał Cosel nigdy nie mieszkał w pałacu, jego miejscem zamieszkania była drezdeńska posiadłość, w której zmarł w 1770 roku. W pierwszej połowie XIX wieku gmach wszedł w posiadanie cywilne, w latach 1845–1853 mieścił się w nim Hotel Rosyjski (niem. Russische Hotel). W 1853 roku Pałac Cosela stał się własnością państwa saksońskiego, które ulokowało w nim królewski posterunek policji. Po 1901 roku, kiedy to pałac przestał być siedzibą posterunku policji, mieściło się w nim m.in.