Um token, em análise léxica, é uma representação de uma cadeia de caracteres, utilizado na construção de árvores sintáticas de linguagens de programação.<!-- Livreto usado em cursos superiores, e.g. https://www.inf.ufrgs.br/~johann/comp/lexyacc.pdf Exemplos de tokens poderiam ser palavras-chave (if, else, while, int, ...), identificadores, números, sinail, ou um operador de vários caracteres, (por exemplo, := "':+"' ).
Exemplo Suponhamos a seguinte linha de um programa: SE Novo > MaxNúm ENTÃO Os tokenes são: * "SE" * "Novo" * ">" * "MaxNúm" * "ENTÃO" E descrevem-se pelo geral em duas partes, um tipo ou classe e um valor, assim: Token=(Tipo,Valor)
Para a sequência anterior, os tokenes podem descrever-se * [Palavra Reservada, "SE"] * [Identificador, "Novo"] * [Operador, ">"] * [Identificador, "MáxNúm"] * [Palavra Reservada, "ENTÃO"]
Ver também Lex Yacc
Bibliografia
Categoria:Terminologia informática