Do Ziemi Świętej wyruszył wraz z landgrafem Turyngii Hermanem I w 1196 roku. Jego działania po przybyciu do Palestyny są nieznane, nie wiadomo też, kiedy ani w jaki sposób wstąpił do zakonu krzyżackiego. Po śmierci wielkiego mistrza Henryka von Tunna w 1209 roku Hermann zastąpił go na tym stanowisku.
Lata na stanowisku wielkiego mistrza (1209–1239) Hermann von Salza był najwybitniejszym politykiem spośród wszystkich przywódców zakonu, a także kowalem jego potęgi. Niewątpliwie pomogła mu w tym przyjaźń z cesarzem Fryderykiem II i zaufanie, jakim został przez niego obdarzony. Dzięki tak potężnej znajomości pozycja zakonu uległa wyjątkowemu wzmocnieniu. Objawiło się to już w 1211 roku, kiedy Krzyżacy otrzymali od króla węgierskiego Andrzeja II wielką darowiznę obejmującą 12 tysięcy kilometrów ziemi na Węgrzech. Król, który wybierał się właśnie na V wyprawę krzyżową, chciał zabezpieczyć swoje królestwo przed najazdami sąsiednich Połowców. Zaraz po otrzymaniu darowizny, Krzyżacy przenieśli się do swych nowych posiadłości, ale zamiast nawracać plemiona połowieckie, zaczęli utwierdzać tam swoje panowanie. Rozpoczęli od sprowadzenia na te tereny osadników niemieckich, po czym przystąpili do procesu wznoszenia zamków i grodów obronnych.