Dumba był zaangażowanym mecenasem i kolekcjonerem sztuki. Wraz z rzeźbiarzem Casparem Zumbuschem (1830–1915) przyczynił się do postawienia pomnika arcyksięcia Albrechta w jego obecnej lokalizacji. Wspierał z sukcesem budowę pomników kompozytorów, m.in. Beethovena, Brahmsa, Mozarta, Schuberta i innych osobistości Makarta, Radetzky'ego, Raimunda. Sam przyjaźnił się z Brahmsem, Karolem Goldmarkiem i Johannem Straussem. Jemu Strauss zadedykował walc Nad pięknym modrym Dunajem. W latach 1865–72 Dumba był przewodniczącym Wiedeńskiego Męskiego Towarzystwa Śpiewaczego i angażował się w powstanie orkiestry nowej filharmonii.
Pasjonował się twórczością Schubertem – sam był uznanym wykonawcą pieśni Schuberta, kolekcjonował „Schubertiana”. Zapisem testamentowym partytury symfoniczne Schuberta podarował Towarzystwu Przyjaciół Muzyki w Wiedniu (niem. Gesellschaft der Musikfreunde in Wien) a oryginały zapisów nutowych (198) wiedeńskiej Bibliotece Miejskiej.