w konsekwencji spędził w więzieniu 19 lat. W tym czasie nauczył się czytać w więziennej szkole. W 1815 został wypuszczony na wolność z zarobkiem 109 franków, żółtym paszportem byłego skazańca. Rozgoryczony, pragnął zemścić się na całym społeczeństwie. Fakt posiadania żółtego paszportu sprawiał, że był wyganiany z każdej gospody, w której chciał się zatrzymać na posiłek i nocleg. Najmując się do dorywczych prac, otrzymywał niższą wypłatę.
Dopiero w miasteczku Digne spotkało go lepsze przyjęcie, gdy, idąc za radą starej kobiety Valjean, udał się do biskupa tego miasta, Myriela zwanego Bienvenu. Biskup zjadł z nim kolację i zaproponował nocleg; Valjean, zdumiony takim postępowaniem, ukradł mu srebrną zastawę stołową i uciekł. Został jednak zatrzymany przez policję i zawrócony do domu biskupa, który nie tylko zapewnił, iż sam obdarował przypadkowo spotkanego Valjeana, ale dodatkowo wręczył mu dwa srebrne świeczniki. Oznajmił, iż mają być one ceną za wykupienie duszy byłego galernika. Wychodząc z Digne, Valjean popełnił kolejne przestępstwo, ukradł 40 sousSou – dawna drobna moneta francuska. przypadkowo napotkanemu kominiarczykowi. Dopiero po tym wydarzeniu zaczął zastanawiać się nad swoim życiem i postanowił zostać uczciwym człowiekiem.