Python - лексический анализ и токенизация

Я очень хочу ускорить процесс моего открытия здесь, так как это мое первое путешествие в мир лексического анализа. Может быть, это даже неправильный путь. Сн...

Узнайте позицию, где регулярное выражение не удалось

Я пытаюсь написать лексер в JavaScript для поиска токенов простого предметно-ориентированного языка. Я начал с простой реализации, которая просто пытается со...

lex & yacc получить текущую позицию

Пишем вновь входящий лексер с Flex

Я новичок, чтобы согнуть. Я пытаюсь написать простой лексер / сканер с Flex. Определение лексера идет ниже. Я застреваю с ошибками компиляции, как показано н...

Как реализовать оператор If во Flex / bison

Я не получаю ошибку, пожалуйста, вы можете помочь мне, вот .l и .y file.thanks.

Как определить регулярное выражение в StandardTokenParsers для определения пути?

Я пишу синтаксический анализатор, в котором я хочу разобрать арифметические выражения, такие как: /hdfs://xxx.xx.xx.x:xxxx/path1/file1.jpg+1 Я хочу разобрать...

Как я могу найти только «интересные» слова из корпуса?

Я разбираю предложения. Я хочу знать соответствующее содержание каждого предложения, свободно определяемого как «полууникальные слова» по отношению к остальн...

Как использовать yylval со строками в yacc

Я хочу передать фактическую строку токена. Если у меня есть токен с именем ID, я хочу, чтобы мой файл yacc действительно знал, как называется ID. Мне нужно передать строку с помощью yylval в файл yacc из файла flex. Как мне это сделать?

ANTLR - КОГДА ИСПОЛЬЗОВАТЬ ПРАВИЛА PARSER ПРОТИВ ЛЕКСЕРНЫХ ПРАВИЛ?

имаю теорию разделения теоретических правил и правил лексера в теории, но каковы практические различия между этими двумя утверждениями в ANTLR:

+1: Вы не можете сделать это с одним захватом регулярных выражений; Вы должны сделать это по-другому.

я есть регулярное выражение Python, которое содержит группу, которая может встречаться ноль или много раз, но когда я получаю список групп впоследствии, присутствует только последняя. Пример: re.search("(\w)*", "abcdefg").groups() это ...