Później rodzina przeprowadziła się do Pensylwanii, a w 1963 r. do Eau Gallie na Florydzie. Pod wpływem albumu Dylana The Freewheelin' Bob Dylan i późniejszych płyt Joan Baez i The Byrds został piosenkarzem folkowym i zaczął występować z kolegami ze szkoły: Wayne’em Harleyem (bandżo), Rogerem Crissingerem (organy, tamburyn) i Lane’em Ledererem (gitara basowa). Był to pierwszy skład jego grupy Pearls Before Swine (1965). Jego piosenka "Be a Man, Join the Klan" była wykonywana przez wielu artystów z florydzkiego kręgu folkowego, który był wówczas zdominowany przez Freda Neila.
Okres firmy ESP Records Tom Rapp posłał nagrania demo grupy do firmy ESP RecordsESP Records była małą niezależną firmą, która w ogóle nie zakładała, że jej albumy mogą się sprzedać w ilości większej niż 10 000 egzemplarzy, ale nagrywała artystów, którzy mieli coś do powiedzenia (np. Albert Ayler, Cecil Taylor, The Fugs i Ed Sanders czy Holy Modal Rounders i Pete Stampfel. W maju 1967 r. nagrali w ciągu czterech dni i nocy swój album One Nation Underground w Nowym Jorku w małym studiu Impact.