Stachura od najmłodszych lat wykazywał talent do rysunku. Matka wspominała, że jeszcze podczas pobytu we Francji dziewięcioletni Edzio wraz z kolegą wymalowali ściany niedalekiej kafejki, wprawiając w zachwyt bywalców. Wspomnienia z dzieciństwa zawarte są w opowiadaniu Jak mi było na Mazurach (1962). Języka polskiego Stachura nauczył się we Francji, w polskiej szkole, do której uczęszczał w czwartki (dzień wolny od nauki). Rodzina wróciła do Polski w listopadzie 1948. Początkowo chcieli osiąść w Gliwicach, lecz zmienili plany i zamieszkali w Łazieńcu, niedaleko Aleksandrowa Kujawskiego. Tam po rodzicach matka odziedziczyła dom i kawałek pola.
Stachura wychował się w katolickiej rodzinie. Przystąpił do Pierwszej Komunii Świętej, jednak często opuszczał lekcje religii i msze święte.