Pomagała mu też w niektórych napadach na banki.
Porwanie Urschela thumb|Dom w Memphis, w którym ukrywał się Machine Gun Kelly
22 lipca 1933 r. wspólnie z Albertem L. Batesem uprowadził bogatego przemysłowca Charlesa F. Urschela i jego przyjaciela Waltera R. Jarretta. Porwani byli przez tydzień więzieni w wiejskim domku Urschela w Paradise w Teksasie. Po zapłaceniu przez rodzinę 200 000 dolarów okupu, zakładnicy zostali wypuszczeni. Pomimo tego, że Urschel miał zawiązane oczy zdołał zapamiętać wiele szczegółów, m.in. odgłosy otoczenia i zostawić odciski palców, które później pomogły FBI w ustaleniu ich miejsca pobytu.
Z powodu niedawnego zainteresowania mediów sprawą porwania syna Charlesa Lindbergha, która nadszarpnęła reputację FBI, jej ówczesny dyrektor J. Edgar Hoover postanowił objąć ją specjalnym nadzorem. Chciał też zrobić wrażenie na opinii publicznej i wykorzystać nowe „prawo Lindbergha”, które definiowało porwanie jako przestępstwo federalne karane śmiercią. Do sprawy przydzielił też jednego ze swoich najlepszych agentów, Gusa Jonesa. Śledztwo prowadzone w Memphis wykazało, że Kelly przebywa w domu niejakiego J.C. Tichenora. Na miejsce natychmiast wysłano agentów specjalnych, którzy we wczesnych godzinach porannych 26 września 1933 r. aresztowali Kelly’ego i jego żonę Kathryn i przewieźli do Oklahoma City.