Vous cherchez une définition claire de ce que sont un "tokenizer", un "parser" et un "lexer", ainsi que de la manière dont ils sont liés les uns aux autres et utilisés ?

Question

Je cherche une définition claire de ce que sont un "tokenizer", un "parser" et un "lexer" et comment ils sont liés les uns aux autres (par exemple, un parser utilise-t-il un tokenizer ou vice versa) ? J'ai besoin de créer un programme qui parcourra les fichiers source c/h pour en extraire les déclarations et définitions de données.

J'ai cherché des exemples et j'ai pu trouver quelques informations, mais j'ai vraiment du mal à saisir les concepts sous-jacents comme les règles de grammaire, les arbres d'analyse et l'arbre syntaxique abstrait, et comment ils sont liés les uns aux autres. A terme, ces concepts devront être stockés dans un programme réel, mais 1) à quoi ressemblent-ils, 2) existe-t-il des implémentations communes.

J'ai consulté Wikipédia sur ces sujets et des programmes comme Lex et Yacc, mais n'ayant jamais suivi de cours de compilation (spécialisation EE), j'ai du mal à comprendre pleinement ce qui se passe.

Answer 1

Un tokenizer décompose un flux de texte en tokens, généralement en recherchant les espaces blancs (tabulations, espaces, nouvelles lignes).

Un lexeur est fondamentalement un tokenizer, mais il attache généralement un contexte supplémentaire aux tokens -- ce token est un nombre, ce token est une chaîne littérale, cet autre token est un opérateur d'égalité.

Un analyseur syntaxique prend le flux de tokens du lexer et le transforme en un arbre syntaxique abstrait représentant le programme (généralement) représenté par le texte original.

La dernière fois que j'ai vérifié, le meilleur livre sur le sujet était "Compilateurs : Principes, techniques et outils" généralement connu sous le nom de "Livre du Dragon".

Answer 2

Exemple :

int x = 1;

Un lexeur ou un tokeniseur le décomposera en jetons 'int', 'x', '=', '1', ';'.

Un analyseur prendra ces jetons et les utilisera pour les comprendre d'une certaine manière :

• nous avons une déclaration
• c'est la définition d'un nombre entier
• le nombre entier est appelé "x".
• x" doit être initialisé avec la valeur 1.

Answer 3

Je dirais qu'un lexeur et un tokenizer sont fondamentalement la même chose, et qu'ils décomposent le texte en ses composants (les "tokens"). L'analyseur interprète ensuite les tokens à l'aide d'une grammaire.

Je ne m'attacherais pas trop à une terminologie précise - les gens utilisent souvent le terme "analyse syntaxique" pour décrire toute action d'interprétation d'un morceau de texte.

Answer 4

( ajouter aux réponses données )

• Tokenizer sera également supprimer tout commentaire, et ne renvoyer que jetons au Lexer.
• Lexer va également définir les champs d'application de ces jetons (variables/fonctions)
• L'analyseur construit ensuite la structure du code/programme.