La construction d'un analyseur (Partie I)

En général, vous voulez séparer les fonctions de la tokeniser (également appelé lexer) à d'autres étapes de votre compilateur ou l'interpréteur. La raison pour cela est la base de la modularité: chaque passage consomme le genre de chose (par exemple, les caractères) et en prépare un autre (par exemple, les jetons).

De sorte que vous avez converti vos personnages de jetons. Maintenant, vous voulez convertir votre appartement liste de jetons à des expressions imbriquées, et c'est ce qu'il est convenu d'appeler analyse. Pour JavaScript comme langage, vous devriez regarder dans récursive descente d'analyse. Pour l'analyse des expressions avec des opérateurs infixes de différents niveaux de priorité, Pratt analyse est très utile, et vous pouvez vous rabattre sur d'ordinaire descente récursive d'analyse pour les cas particuliers.

Juste pour vous donner un exemple plus concret basé sur votre cas, je vais supposer que vous pouvez écrire deux fonctions: accept(token) et expect(token), qui, à tester la prochaine jeton dans le flux que vous avez créé. Vous allez faire une fonction pour chaque type d'instruction ou de l'expression de la grammaire d'une langue. Voici Pythonish pseudocode pour un statement() fonction, par exemple:

def statement():

  if accept("if"):
    x = expression()
    y = statement()
    return IfStatement(x, y)

  elif accept("return"):
    x = expression()
    return ReturnStatement(x)

  elif accept("{")
    xs = []
    while True:
      xs.append(statement())
      if not accept(";"):
        break
    expect("}")
    return Block(xs)

  else:
    error("Invalid statement!")

Cela vous donne ce qu'on appelle un arbre de syntaxe abstraite (AST) de votre programme, que vous pouvez ensuite manipuler (optimisation et d'analyse), de sortie (compilation), ou à exécuter (interprétation).

Est ma façon meilleure ou pire que la façon originale? Notez que mon code sera lu et compilé (traduit dans une autre langue, comme PHP), au lieu d'interpréter tout le temps.

Quelle est la façon originale ? Il existe de nombreuses façons de mettre en œuvre les langues. Je pense que le vôtre est très bien fait, une fois, j'ai essayé de construire un langage de moi-même qui s'est traduit pour le C#, le hack langage de programmation. La langue de nombreux compilateurs traduire d'une langue intermédiaire, il est assez commun.

Après je tokenizer, ce que je dois faire exactement? Je suis vraiment perdu sur ce col!

Après la segmentation, vous devez analyser il. Utiliser quelque chose de bon lexer /analyseur de cadre, comme la Coup de pouce.Esprit, ou Coco, ou quoi que ce soit. Il y a des centaines d'entre eux. Ou vous pouvez mettre en place votre propre lexer, mais cela prend du temps et des ressources. Il existe de nombreuses façons d'analyser le code, je généralement s'appuyer sur récursive descente d'analyse.

Ensuite, vous devez faire de la Génération de Code. C'est la partie la plus difficile à mon avis. Il existe des outils pour cela, mais vous pouvez le faire manuellement si vous le souhaitez, j'ai essayé de faire dans mon projet, mais il était assez basique et le buggy, il y a un code utile ici et ici.

Il y a quelques bon tutoriel pour savoir comment je peux faire?

Comme je l'ai suggéré précédemment, l'utilisation outils de le faire. Il y a beaucoup d'assez bonne bien documenté analyseur de cadres. Pour de plus amples informations, vous pouvez essayez de demander à certaines personnes qui connaissent ce genre de choses. @DeadMG , à la Salon C++ est la construction d'un langage de programmation appelé "Large". Vous pouvez essayer de consultation lui.