Przejściowo, w lecie 1941, Krumey został wysłany do Chorwacji, gdzie uczestniczył w działaniach zmierzających do umieszczenia jugosłowiańskich Żydów w obozach koncentracyjnych. W trakcie służby w Polsce brał udział w represjonowaniu polskiej ludności etnicznej w Kraju Warty, a następnie współorganizował transporty łódzkich Żydów do obozów zagłady (zwłaszcza do Kulmhofu) oraz deportacje Polaków na wschód. W 1942 Krumey zorganizował także przynajmniej 6 transportów Żydów z rejonu Zamościa do KL Auschwitz-Birkenau.
Krumey przeniesiony został na Węgry 19 marca 1944, wraz z wprowadzeniem w tym kraju okupacji hitlerowskiej. Wszedł w skład Sonderkommanda Adolfa Eichmanna, odgrywając w nim znaczącą rolę. Celem Eichmanna była eksterminacja węgierskich Żydów. Krumey współtworzył Radę Żydowską (Judenrat) i uczestniczył w organizowaniu transportów do Auschwitz.
Jednym z etapów przeprowadzanych negocjacji między Eichmannem a przedstawicielami władz żydowskich (tzw. Komitetem Pomocy i Ocalenia) w Budapeszcie, było wysłanie ok. 21 tysięcy Żydów do KL Strasshof – podwiedeńskiego obozu koncentracyjngo. Krumey otrzymał zadanie dowodzenia jednostkami SS, które pilnowały więźniów. Większość z tych ponad 20 tysięcy Żydów przeżyło wojnę.