W 1952 dołączył do big-bandu Counta Basiego i stał się jego czołowym solistą. Podczas pracy z Basiem, trwającej z przerwami do połowy lat 70., ugruntował swoją opinię saksofonisty, który potrafi „zdmuchnąć każdy problem (muzyczny)”. Rozwinął także swoje umiejętności jako interpretator ballad, na co duży wpływ miał kolega z orkiestry – Ben Webster.
Obok pracy w orkiestrze Basiego prowadził wiele własnych, małych zespołów. W latach 1955–1959 prowadził combo, które było pionierską grupą o brzmieniu saksofonowo-organowym. Na organach Hammonda (model B3) grała Shirley Scott. Prezentujący repertuar jazzowo-bluesowy zespół odniósł duży sukces zarówno koncertowy, jak płytowy. W 1960 i 1961 Davis współpracował z tenorzystą, Johnnym Griffinem. Ich „pojedynki” saksofonowe wywołały duży rozgłos wśród publiczności jazzowej i zostały także zarejestrowane na płytach. Obaj grali również w big-bandzie Kenny’ego Clarke’a i Francy’ego Bolanda.
W 1963 Davis odstawił instrument i zajął się działalnością impresaryjną. Po roku jednak wrócił na estradę jako solista orkiestry Basiego i zarazem jej tour manager. Często występował w Europie z Basiem i jako członek grupy Normana Granza, której główną gwiazdą była Ella Fitzgerald.