То́кен () — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от ).
В прикладном программировании понятие токена и его лексема могут не различаться.
Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.
+Примеры тип токена примеры лексем описание num 257 число id Ident951 идентификатор relop <= операция отношения string «Символ» строчная постоянная
Категория:Теория компиляторов