Ich schreibe gerade einen Compiler und bin in der Lexer-Phase.

Ich weiß, dass der Lexer den Eingabestream tokenisiert.

eachten Sie jedoch den folgenden Stream:

int foo = 0;

Sollte die Ausgabe des Lexers sein:Keyword letter letter letter equals digit semicolon? Und dann reduziert der Parser dasletter letter letter zu einem Bezeichner?