Po śmierci ojca w 1967 roku jego funkcję przejął brat bliźniak Shloma Eli Chaim. thumb|190px|Grób Carlebacha Shlomo Carlebach studiował w nowojorskich jesziwach, po otrzymaniu smichy, został uczniem Rabiego Josefa Jcchoka Schneersohna, szóstego rabina Chabadu–Lubawicz. W latach 1951–1954 pracował jako nauczyciel. Był jednym z pierwszych wysłanników siódmego lubawickiego rabina Menachema Mendla Schneersona.
W 1972 roku poślubił Elainę Neile Glick, z którą miał dwie córki. Jedna z nich – Neszama (ur. 1974) podobnie jak ojciec została muzykiem. Carlebach był głównym fundatorem moszawu Mewo Modi’im w Izraelu, gdzie często przebywał.
Zmarł na zawał serca podczas lotu do Kanady; pochowany został na cmentarzu Har ha-Menuchot w Jerozolimie.
Muzyka Shlomo Carlebach komponował swoje piosenki w oparciu o wersety z Tanach i Talmudu, jednak największą część jego utworów stanowią stworzone przez niego własne melodie do znanych pieśni i modlitw. Opracował też nowe niguny. Jego styl opierał się w głównej mierze na pieśniach chasydzkich. Koncerty Carlebacha przyciągały rzesze ludzi. Podczas występów aranżował wyjątkowe tańce, które dawały możliwość wspólnotowego przeżywania śpiewanych modlitw.