Działalność naukowa Hermann Markgraf w swojej pracy naukowej interesował się stosunkami śląsko-czeskimi w średniowieczu, postacią Jerzego z Podiebradów oraz epoką Fryderyka II. Publikował także prace o historii Wrocławia, jego rzemiosła i handlu, a także historii jego rozwoju przestrzennego. Był redaktorem kilku tomów rozpoczętej w roku 1854 przez Colmara Grünhagena serii Codex Diplomaticus Silesiae (Kodeks Dyplomatyczny Śląska) zawierającej archiwalne materiały źródłowe dziejów średniowiecznego Śląska. Do najważniejszych jego prac zalicza się: Der Breslauer Ring und seine Bedeutung für das Stadt z 1894 o historii wrocławskiego Rynku oraz pracę dotyczącą historii i etymologii nazw wszystkich ulic we Wrocławiu wytyczonych przed końcem XIX w. – Die Straßen Breslaus nach ihrer Geschichte und ihren Namen z 1896. W roku 1889 napisał na zlecenie szwajcarskiego wydawnictwa Caesara Schmidta ilustrowany przewodnik po Wrocławiu i jego okolicach będący częścią serii przewodników po największych miastach ówczesnego świata zatytułowanej: Städtebilder und