Nie zamierzając odcinać kuponów od odniesionych sukcesów, jeszcze w 1961 wkroczył na nowy dla siebie grunt muzyczny. Zainspirowany brzmieniem utworów z filmu Czarny Orfeusz, skłonił swojego menedżera, żeby zorganizował mu występy w Brazylii. Mimo że był tam prawie nieznany, niemal natychmiast po przylocie do Rio de Janeiro zaczął grać podczas jam sessions z miejscowymi wykonawcami. Był pierwszym muzykiem amerykańskim, który w Brazylii nagrywał muzykę brazylijską z brazylijskimi artystamiPort Folio – Herbie Mann's New Groove [dostęp 2011-11-16]. Muzyka brazylijska zafascynowała mnie nie tylko swoimi ekscytującymi rytmami, ale także pięknymi melodiami, będącymi wspaniałą bazą dla improwizacji. Po powrocie do USA zespół Manna był jednym z pierwszych, który grał bossa novę. Choć Charlie Byrd i Stan Getz jako pierwsi nagrali w 1962 utrzymaną w tym stylu, bestsellerową płytę, Jazz Samba, Mann uznał ją za „niezadowalającą” i odpowiedział m.in. albumem Do the Bossa Nova. Nagrał go ze znakomitościami muzyki brazylijskiej: Antoniem Carlosem Jobimem, Badenem Powellem i Sergiem Mendesem. Na płycie Manna jako wokalista zadebiutował Jobim, śpiewając po angielsku swój utwór One Note Samba, który stał się evergreenem.