zmiennej.
Wyodrębnianie jednostek leksykalnych Analizowany przez translator kod źródłowy jest ciągiem znaków, z których należy wyodrębnić jednostki leksykalne. Definicja języka powinna jednoznacznie określać sposób ich wyodrębniania, tak aby kod źródłowy był jednoznacznie interpretowany.
Przykładem ilustrującym zagadnienie wyodrębniania jednostek leksykalnych ze strumienia wejściowego kodu źródłowego, jest zapis wyrażenia w języku C i pokrewnych językach: a=b+++c; który to zapis, dzięki obowiązującej w tym konkretnym języku jednoznacznej zasadzie, że kolejną jednostką leksykalną jest najdłuższy ciąg znaków, który może stanowić pewną jednostkę, jest zawsze interpretowany jak zapis: a=(b++) + c; a nie jak różny od niego zapis: a=b+ (++c);
Rola jednostek leksykalnych Choć kod źródłowy zbudowany jest na najniższym poziomie z określonego zestawu znaków, to dla programisty i translatora, podstawowym poziomem rozpatrywania kodu źródłowego jest poziom jednostek leksykalnych, jako podstawowych składowych kodu źródłowego, mających zdefiniowane znaczenie w danym języku. Z jednostek tych budowane są zdania, realizujące określony algorytm.