W następnym roku założył własny sekstet, a w 1939 – big-band The Jay McShann Orchestra, w którym grał m.in. młody Charlie Parker. Zespół intensywnie i z powodzeniem koncertował na terenie całych Stanów Zjednoczonych. W latach 1941–1942 dokonał szeregu nagrań – przede wszystkim bluesowych – dla wytwórni Decca. Był wśród nich najpopularniejszy dotychczas utwór orkiestry – Confessin’ the Blues, w którym śpiewał Walter Brown. W 1944 big-band został rozwiązany, jego lider bowiem otrzymał powołanie do U.S. Army. Po zakończeniu II wojny światowej i prawie dwuletniej służby wojskowej sytuacja na rynku muzycznym uległa zmianie. Duże orkiestry straciły rację bytu, więc przestawił się na prowadzenie mniejszych formacji. Zaangażował wokalistę jumpbluesowego Jimmy’ego Witherspoona, który zaśpiewał utwór Ain’t Nobody's Business, jeden z pierwszych standardów bluesowych. Był to największy przebój zespołu i najlepiej sprzedawana w 1949 w Stanach Zjednoczonych race record – płyta z muzyką afroamerykańską.