Manière pythonique d'implémenter un tokenizer

Je vais mettre en œuvre un générateur de jetons en Python et je me demandais si vous pourriez offrir quelques conseils de style?

J'ai mis en place un générateur de jetons avant en C et en Java, donc je suis très bien avec la théorie, je voudrais juste m'assurer que je suis en suivant les pythonic les styles et les meilleures pratiques.

Liste Types De Jeton:

En Java, par exemple, je voudrais avoir une liste de champs comme suit:

public static final int TOKEN_INTEGER = 0

Mais, évidemment, il n'y a aucun moyen (je crois) pour déclarer une constante variable en Python, je pouvais la remplacer avec la normale des déclarations de variable, mais qui ne me frappe pas comme une excellente solution puisque les déclarations pouvaient être modifiées.

De Retourner Les Jetons De L'Générateur De Jetons:

Est-il une meilleure solution que de simplement retourner une liste de tuples par exemple

[ (TOKEN_INTEGER, 17), (TOKEN_STRING, "Sixteen")]?

Acclamations,

Pete

source d'informationauteur Peter