Dzieciństwo i kariera przedwojenna mały|lewo|Ruiny rodzinnego zamku w Łące Prudnickiej Urodził się w rodzinnym zamku w Łące Prudnickiej koło Prudnika jako syn pruskiego majora Hansa von Choltitz (1865–1935) i jego żony Gertrudy von Rosenberg. Jego wuj Hermann von Choltitz był landratem powiatu prudnickiego (Landkreis Neustadt O.S.).
Mając 13 lat został wysłany przez swojego ojca do szkoły wojskowej w Dreźnie.
I wojna światowa Dołączył do 8 Pułku Piechoty im. Jana Jerzego armii saskiej kilka miesięcy przed rozpoczęciem I wojny światowej. Jego jednostka służyła na froncie zachodnim. Walczył, między innymi, w I bitwie nad Marną, I bitwie pod Ypres, bitwie nad Sommą i bitwie pod St. Quentin. Rok po dołączeniu do oddziału awansował na lejtnanta i został adiutantem jego trzeciego batalionu.
Lata międzywojenne Po zakończeniu I wojny światowej wrócił do Prudnika, gdzie 20 sierpnia 1929 poślubił Hubertę (1902–2001), córkę generała kawalerii Otto von Garniera. Mieli oni dwie córki – Marię Angelikę (ur. 1930) i Annę Barbarę (ur. 1936), i jednego syna Timo (ur. 1944).