Quelles sont les utilisations pratiques de PHP générateur de jetons?

- Je utiliser PHP_CodeSniffer pour le style de codage de la conformité, qui est construit sur le tokeniser. Aussi, certains cadres (par exemple, Symfony 2) utiliser le tokeniser pour générer des fichiers de cache ou de la classe intermédiaire des fichiers de code PHP. Il est également possible d'utiliser le tokeniser de construire un formateur de code source ou de la coloration syntaxique.

Fondamentalement, n'importe où, vous utilisez le code PHP que vous pouvez utiliser le tokeniser. Il est beaucoup plus fiable que d'essayer d'analyser le code PHP avec les expressions régulières, ou d'autres fonctions de traitement de chaîne.

Question intéressante.

Je n'ai pas utilisé le générateur de jetons dans la production des projets de moi-même encore, mais il y a plusieurs questions sur un Débordement de Pile à qui le tokenizer est la (ou une) réponse correcte.

• Analysant automatiquement PHP pour séparer le code PHP du code HTML - extraction des commentaires de code PHP, par exemple, à la génération de la documentation (phpDocumentor fonctionne de cette façon)

• Il existe des classes dans un fichier externe - l'analyse de code, voir si la classe existe à l'intérieur d'un fichier (par exemple, un plugin de gestion de système)

• Permanence d'écrire des variables dans un fichier php avec php - de modifier le code source PHP les fichiers, par exemple pour remplir des variables de configuration. En utilisant le générateur de jetons woud être la première étape pour ce faire sur un analyseur de niveau.

• Comment créer une liste de tous les intégrés dans les fonctions de PHP un projet fait usage de? - analyser quelles sont les fonctions utilisées dans un projet PHP

J'ai utilisé le générateur de jetons pour trouver la complexité cyclomatique nombre et quelques autres métriques de code d'un rappel:

if ((isset($reflection) === true) && ($reflection->getFileName() !== false))
{
if (($source = file($reflection->getFileName(), FILE_IGNORE_NEW_LINES)) !== false)
{
$source = implode("\n", array_slice($source, $reflection->getStartLine() - 1, $reflection->getEndLine() - ($reflection->getStartLine() - 1)));
$result[$key]['source'] = array
(
'ccn' => 1,
'statements' => 0,
'lines' => array
(
'logical' => array(),
'physical' => substr_count($source, "\n"),
),
);
if (is_array($tokens = token_get_all(sprintf('<?php %s ?>', $source))) === true)
{
$points = array_map('constant', array_filter(array
(
'T_BOOLEAN_AND',
'T_BOOLEAN_OR',
'T_CASE',
'T_CATCH',
'T_ELSEIF',
'T_FINALLY',
'T_FOR',
'T_FOREACH',
'T_GOTO',
'T_IF',
'T_LOGICAL_AND',
'T_LOGICAL_OR',
'T_LOGICAL_XOR',
'T_WHILE',
), 'defined'));
foreach ($tokens as $token)
{
if (is_array($token) === true)
{
if ((in_array($token[0], array(T_CLOSE_TAG, T_COMMENT, T_DOC_COMMENT, T_INLINE_HTML, T_OPEN_TAG), true) !== true) && (strlen(trim($token[1])) > 0))
{
if (in_array($token[0], $points, true) === true)
{
++$result[$key]['source']['ccn'];
}
array_push($result[$key]['source']['lines']['logical'], $token[2]);
}
}
else if (strncmp($token, '?', 1) === 0)
{
++$result[$key]['source']['ccn'];
}
else if (strncmp($token, ';', 1) === 0)
{
++$result[$key]['source']['statements'];
}
}
$result[$key]['source']['lines']['logical'] = max(0, count(array_unique($result[$key]['source']['lines']['logical'])) - 1);
}
}
}

À partir d'un commentaire dans le manuel PHP:

Le tokenizer fonctions sont tout à fait
puissant. Par exemple, vous pouvez
récupérer toutes les méthodes dans un
classe à l'aide d'un algorithme de type:

pour chaque jeton: si le jeton est T_FUNCTION
puis début de la mémoire tampon du tampon est commencé
puis ajouter une chaîne à la
tampon si le jeton est ( arrêt de la mémoire tampon

Et la grande chose est que la classe
les méthodes le cas, donc
c'est une bonne façon de contourner les
limitations avec get_class_methods
de retour en minuscules les noms de méthode. Aussi
car l'utilisation d'un algorithme similaire vous
peut lire les arguments d'une fonction
vous pouvez mettre en œuvre des Réflexions comme
la fonctionnalité en PHP4.

Enfin, vous pouvez l'utiliser comme un simple
méthode d'extraction de l'Javadoc d'un
fichier de classe pour générer la documentation.
L'util/MethodTable.php classe
AMFPHP (http://www.amfphp.org) utilise
le tokenizer fonctions pour créer une
méthode de la table avec toutes les
des arguments, une description, le type de retour,
etc. et à partir de ce tableau, il peut
générer du code ActionScript qui correspond à la
PHP, mais il pourrait aussi être équipée d'
générer du JavaScript, la documentation
fichiers, ou fondamentalement tout ce que vous mettez
votre esprit d'. Je vois aussi que cette
pourrait être la base pour une classe -> WSDL
générateur de fichier.

Vous pouvez l'utiliser pour recueillir diverses informations sur certains de code php, comme par exemple toutes les classes, les méthodes, les variables, la production de la documentation et des tâches similaires.