Następnie przyjął stały angaż w klubie Nick’s w Greenwich Village na Manhattanie i jednocześnie grał w big-bandzie Bobby’ego Hacketta. Potem ponownie podjął pracę z Condonem, tym razem w orkiestrze gitarzysty. Już w tym czasie był uzależniony od alkoholu i w chwilach szczerości żalił się: Kolesie z klubu Nicka i ci od Condona robili sobie ze mnie żarty, traktowali jak błazna, a ja na to pozwalałem, bo się bałem. Nie wiedziałam, dokąd pójść, gdzie się schowaćWhitney Balliett, Even his Feet Look Sad, [w:] American Musicians – Fifty-Six Portraits in Jazz, wyd. Oxford University Press, 1986.

W latach 40. jego stan zdrowia zaczął się pogarszać, Cierpiał na przewlekłe zapalenie trzustki, na które duży wpływ miał alkoholizm. Później wspominał: Żywiłem się koktajlami mlecznymi z brandy, kanapkami z jajecznicą i... whisky. Żebym mógł wstać z łóżka, musiałem rano wypić pół pinty whisky. W 1950 w San Francisco ostre zapalenie trzustki niemal pozbawiło go życia. Po wielotygodniowej hospitalizacji wrócił do Nowego Jorku. Do pracy przystąpił w 1952 ze zmienionym, bardziej asertywnym podejściem do swojej kariery.