В настоящее время я пишу компилятор, и я нахожусь в фазе Lexer.

Я знаю, что лексер токенизирует входной поток.

Однако рассмотрим следующий поток:

int foo = 0;

должен ли вывод лексера быть:Keyword letter letter letter equals digit semicolon ? И тогда парсер уменьшаетletter letter letter к идентификатору?