Rok później, po reorganizacji wyjechał z nim na kilka miesięcy do Europy, występując w Paryżu i Monte Carlo.

Po powrocie do Nowego Jorku przejął w 1934 The Mills Blue Rhythm Band, którą prowadził do 1938. Zespół regularnie występował w Cotton Clubie. Grali w niej wówczas m.in. Red Allen, Charlie Shavers, Harry „Sweets” Edison i puzonista J.C. Higginbotham. W 1938 odkupił orkiestrę od pianisty i organisty Billa Doggetta. W 1940 zreorganizował ją, pomniejszając skład i unowocześniając stylistykę. Zespół na stałe występował w słynnej sali tanecznej Savoy. Jego gwiazdami byli: wokalistka i gitarzystka Rosetta Tharpe, Bill Doggett, Eddie „Lockjaw” Davis, trębacz Cat Anderson, saksofonista Tab Smith oraz przez krótki okres w 1942 Dizzy Gillespie. Jeszcze z jego udziałem orkiestra nagrała antywojenny song When the Lights Go On Again (All Over the World), zaśpiewany przez Trevora Bacona. Utwór osiągnął pierwsze miejsce na liście R&B tygodnika „Billboard” oraz czternaste w zestawieniu „Hot 100”.