David i Mabell mieli razem trzech synów i trzy córki: Kitty Edith Blanche Ogilvy (5 lutego 1887 – 17 października 1969), żona generała-brygadiera Berkeleya Vincenta i podpułkownika Ralpha Ritsona, miała dzieci z pierwszego małżeństwa Helen Alice Wyllington Ogilvy (21 listopada 1890 – grudzień 1973), żona majora Clementa Freeman-Mitforda, podpułkownika Henry’ego Brocklehursta i podpułkownika Harolda Nuttinga, miała dzieci z pierwszych dwóch małżeństwa Mabell Griselda Esther Sudley Ogilvy (22 stycznia 1892 – 4 listopada 1918) David Lyulph Gore Wolseley Ogilvy (18 lipca 1893 – 28 grudnia 1968), 12. hrabia Airlie Bruce Arthur Ashley Ogilvy (15 marca 1895 – 29 września 1976), kawaler Krzyża Kawalerskiego Królewskiego Wiktoriańskiego Orderu, ożenił się z Primrose O’Brien, nie miał dzieci kapitan Patrick Julian Harry Stanley Ogilvy (26 czerwca 1896 – 9 października 1917), zginął podczas I wojny światowej.
Nie zrezygnował jednak z kariery wojskowej. W latach 1884–1885 brał udział w dwóch wyprawach do ogarniętego mahdią Sudanu. Został tam dwukrotnie ranny (pod Abu Klea i El Gubat). Został również dwukrotnie wspomniany w rozkazie dziennym.