Resultados da pesquisa a pedido "lexer"
Analisador ANTLR com lexer manual
Estou migrando um compilador de linguagem de programação baseado em C # de um lexer / analisador manual para o Antlr. Antlr está me dando fortes dores de cabeça porque geralmentena maioria das vezes funciona, mas existem as pequenas peças que ...
Regex C ++: obtenha o índice do Grupo de Captura ao qual o SubMatch correspondeu
Contexto. Estou desenvolvendo um mecanismo Lexer / Tokenizing, que usaria regex como back-end. O lexer aceita regras que definem os tipos / IDs de token, por exemplo <identifier> = "\\b\\w+\\b". Como eu imagino, para executar a tokenização ...
Antlr3: Não foi possível combinar o token nas regras do analisador usadas na regra do lexer
Eu tenho regras lexer no Antlr3 como: HYPHEN : '-'; TOKEN : HYPHEN CHARS; CHARS : 'a' ..'z';A regra do analisador é como: exp : CHARS | some complex expression; parser_rule : exp HYPHEN exp;Se eu tentar combinar 'abc-abc' com parser_rule, ele ...
Como escrever um lexer (shell) manualmente
Estou trabalhando em um shell, um pequeno shell do tipo bash, sem scripts (se enquanto ...) eu tenho que fazer o lexer / parser (LL) manualmente. Então, o lexer transformará o comando char * cmd) a uma lista vinculada t_list * list). E o ...
Diferentes regras do lexer em diferentes estados
Estou trabalhando em um analisador para alguma linguagem de modelo incorporada em HTML (FreeMarker), exemplo aqui: ${abc} <html> <head> <title>Welcome!</title> </head> <body> <h1> Welcome ${user}<#if user == "Big Joe">, our beloved ...
Não foi possível compilar a saída do lex
Quando tento compilar a saída deste programa lex trivial: # lex.l integer printf("found keyword INT");usando: $ gcc lex.yy.cEu recebo: Undefined symbols: "_yywrap", referenced from: _yylex in ccMsRtp7.o _input in ccMsRtp7.o "_main", referenced ...
Lexing SQL parcial em C #
Eu precisaria analisar consultas SQL parciais (é para uma ferramenta de auditoria de injeção SQL). Por exemplo '1' AND 1=1--Deve se dividir em tokens como [0] => [SQL_STRING, '1'] [1] => [SQL_AND] [2] => [SQL_INT, 1] [3] => [SQL_AND] [4] => ...
Antlr v3 error with parser / lexer rules
Estou tendo problemas com minha gramática Antlr. Estou tentando escrever uma regra do analisador para 'typedident', que pode aceitar as seguintes entradas: 'int a' ou 'char a' O nome da variável 'a' é da minha regra lexer 'IDENT', que é ...
Saída do Lexer
Atualmente, estou escrevendo um compilador e estou na fase Lexer. Eu sei que o lexer tokeniza o fluxo de entrada. No entanto, considere o seguinte fluxo: int foo = 0;a saída do lexer deve ser:Keyword letter letter letter equals digit semicolon ...