Rodzina Pochodził z rodziny szlacheckiej herbu Godziemba. Ojciec jego Adam Dąmbski (zm. 1660), pełnił urząd kasztelana słońskiego. Matka Elżbieta Jemielska była córką Stanisława, kasztelana kowalskiego. Bracia jego: Ludwik (zm. 1678), sprawował urząd kasztelana konarskiego, Stanisław Kazimierz (zm. 1700) był biskupem kujawskim. Poślubił Jadwigę Górską herbu Łodzia, córkę Piotra. Z małżeństwa urodzili się synowie Wojciech (1676–1725), marszałek nadworny koronny; Andrzej (zm. 1700), Adam, komisarz sejmowy oraz córki: Marianna Katarzyna, późniejsza żona Jakuba Działyńskiego; Teresa Katarzyna (zm. 1700), żonę Jana Łąckiego, kasztelana kaliskiego. Druga żona Zygmunta, Zofia Anna Daniłowicz, córka Mikołaja, podczaszego koronnego i wdowa po Janie Cetnerze, staroście lwowskim została matką Józefa Cetnera (zm. 1724), kasztelana wołyńskiego.