Tag: token
Un jeton est une chaîne de caractères, classés en fonction des règles comme un symbole (par exemple, l’IDENTIFICATEUR, le NUMÉRO, la VIRGULE). Le processus de formation des jetons à partir d’un flux d’entrée de caractères est appelé » tokenisation, et l’analyseur lexical classe selon un type de symbole. Un jeton peut ressembler à tout ce qui est utile pour le traitement d’une entrée de flux de texte ou un fichier texte.
- 1
- 2