Atualmente, estou escrevendo um compilador e estou na fase Lexer.

Eu sei que o lexer tokeniza o fluxo de entrada.

No entanto, considere o seguinte fluxo:

int foo = 0;

a saída do lexer deve ser:Keyword letter letter letter equals digit semicolon ? E então o analisador reduz oletter letter letter para um identificador?