Nazwa ta pochodziła od niewielkiego wzgórza Taschenberg nad brzegiem Łaby, na którym wznosił się zamek drezdeński. Upowszechniła się również druga nazwa budynku: Pałac Następcy Tronu (niem. Kurprinzliches Palais). W 1756 roku pałac rozbudowano o skrzydło zachodnie, zaprojektowane przez Juliusa Heinricha Schwarzego, z kolei w 1763 roku powstało skrzydło wschodnie budynku, zbudowane według projektu Christiana Friedricha Exnera.
Zniszczenie i odbudowa thumb|left|Ruiny pałacu w 1990 roku Pałac Taschenberg został prawie całkowicie zniszczony 13 lutego 1945 roku podczas bombardowania Drezna. Później, przez 47 lat, budynek pozostawał w praktycznie niezmienionym stanie ruiny. 6 listopada 1992 roku odbyła się specjalna ceremonia rozpoczęcia odbudowy pałacu, z kolei po przeprowadzeniu prac związanych z zabezpieczeniem historycznych murów budynku, w tym sklepień piwnicznych i fundamentów, 30 czerwca 1993 roku położono kamień węgielny. Rekonstrukcję gmachu realizowano w sposób wierny, w oparciu o plany Matthäusa Daniela Pöppelmanna;