Na początku lat dwudziestych Jack związał się z gangiem żydowskiego gangstera Jacoba „Little Augie” Orgena; Diamond w gangu odpowiadał za handel alkoholem i narkotykami. W 1927 r. w zamachu zginął Orgen (zabójcami byli Louis Lepke i Gurrah Shapiro – ich twarze zapamiętał Jack, który sam odniósł obrażenia – został postrzelony w ramię). Po wyjściu ze szpitala – nie myślał o odwecie – zawarł z nimi rozejm.
W latach dwudziestych był również bliskim współpracownikiem Arnolda Rothsteina; był jego ochroniarzem i ściągał należności od dłużników. Do rozłamu między nimi doszło na krótko przed śmiercią Rothsteina w 1928 roku; Rothstein wynajął ekipę zabójców, którzy mieli zabić brata Jacka – Eddiego (przeżył zamach, ale po pewnym czasie zmarł na gruźlicę).
Będąc u szczytu potęgi, gdy razem z Lepke i Shapiro podzielili między siebie imperium po Orgenonie, Legs – razem ze swoim wspólnikiem Charlesem Entrattą – w 1929 roku dokonał spektakularnego zabójstwa bandyty Reda Cassidy'ego na oczach klientów i pracowników baru Hotsy Totsy Club na Broadwayu; obaj uciekli z miejsca zdarzenia przed przybyciem policji. Z biegiem czasu w niewyjaśnionych okolicznościach ginęli kolejni świadkowie tego zabójstwa.