Salida de Lexer
Actualmente estoy escribiendo un compilador y estoy en la fase Lexer.
Sé que el lexer tokeniza el flujo de entrada.
Sin embargo, considere la siguiente secuencia:
int foo = 0;
la salida del lexer debería ser:Keyword
letter
letter
letter
equals
digit
semicolon
? Y luego el analizador reduce elletter
letter
letter
a un identificador?