Gdy Jan miał kilka lat, Gonzalo zmarł z powodu długotrwałej choroby, a Catalina postanowiła zabrać synów do braci zmarłego męża. Ponieważ Gonzalo, poprzez ślub z Cataliną został wydziedziczony, jego krewni nie chcieli kontaktować się z wdową. W Gálvez spotkała jednego z braci Gonzala – Juana, który przysposobił najstarszego z synów, Franciszka. Po krótkim pobycie, okazało się że chłopiec był zmuszany do ciężkiej fizycznej pracy, więc Catalina zabrała go z powrotem do Fontiveros. Wkrótce potem, z powodu niedożywienia, zmarł starszy brat Jana – Ludwik. Następnie rodzina przeniosła się do Arévalo, a około 1550/1551 roku do Medina del Campo. Naukę czytania i pisania rozpoczął w miejscowej szkole Colegio de la Doctrina. Wkrótce potem zaczął pracować jako pielęgniarz w szpitalu Matki Bożej Niepokalanej.