Actualmente estoy escribiendo un compilador y estoy en la fase Lexer.

Sé que el lexer tokeniza el flujo de entrada.

Sin embargo, considere la siguiente secuencia:

int foo = 0;

la salida del lexer debería ser:Keyword letter letter letter equals digit semicolon ? Y luego el analizador reduce elletter letter letter a un identificador?