Jego rodzina była pochodzenia angielskiego, szkockiego i irlandzkiego, a także miała korzenie szwajcarskie, holenderskie i szwedzkie.

Miał 13 lat, kiedy wraz z rodziną przeprowadził się do Portland w stanie Oregon, gdzie w 1962 ukończył szkołę średnią David Douglas High School. Przez dwa semestry studiował psychologię i język angielski w college’u na University of Oregon w Eugene, zanim zrezygnował. Powrócił do Portland i uczęszczał do Clark College w pobliskim Vancouver, w sąsiednim stanie Waszyngton, gdzie ukończył dwuletni program i został obsadzony jako Big Jule w przedstawieniu Faceci i laleczki. Lokalna gazeta „The Columbian” z Vancouver zasugerowała, że Elliott powinien być zawodowym aktorem. Po ukończeniu Clark College w 1965, ponownie zapisał się na University of Oregon i zobowiązał się do bractwa Sigma Alpha Epsilon. Zrezygnował ponownie przed ukończeniem studiów po tym, jak jego ojciec zmarł na atak serca. Mieszkał przez krótki czas w Princeton, w stanie Wirginia Zachodnia.