Resultados de la búsqueda a petición "lexical-analysis"
¿Diferencia práctica entre las reglas del analizador y las reglas del lexer en ANTLR?
Entiendo la teoría detrás de la separación de las reglas del analizador y las reglas del lexer en teoría, pero cuáles son las diferencias prácticas entre estas dos declaraciones en ANTLR: my_rule: ... ; MY_RULE: ... ;¿Producen diferentes árboles ...
Cómo usar Finite Automaton para implementar un escáner
Estoy construyendo un escáner simple. Supongamos que tengo los siguientes tokens definidos para mi idioma: !, !=, !==, <, <<, {Ahora puedo especificarlos usando expresiones regulares, entonces: !=?=? | { | <<?Entonces solíahttp://hackingoff.com ...
¿Cómo puedo modificar el texto de los tokens en un CommonTokenStream con ANTLR?
Estoy tratando de aprender ANTLR y al mismo tiempo usarlo para un proyecto actual. He llegado al punto en el que puedo ejecutar el lexer en un fragmento de código y enviarlo a un CommonTokenStream. Esto funciona bien, y he verificado que ...
Python - análisis léxico y tokenización
Estoy buscando acelerar un poco mi proceso de descubrimiento aquí, ya que esta es mi primera aventura en el mundo del análisis léxico. Quizás este sea incluso el camino equivocado. Primero, describiré mi problema: Tengo archivos de propiedades ...
Descubra la posición donde falló una expresión regular
Estoy tratando de escribir un lexer en JavaScript para encontrar tokens de un lenguaje simple específico de dominio. Comencé con una implementación simple que solo intenta hacer coincidir las expresiones regulares posteriores de la posición ...
Lex y Yacc obtienen la posición actual
En lex & yacc hay una macro llamada YY_INPUT que se puede redefinir, por ejemplo, de tal manera #define YY_INPUT(buf,result,maxlen) do { \ const int n = gzread(gz_yyin, buf, maxlen); \ if (n < 0) { \ int errNumber = 0; \ reportError( ...
Escribir lexer reentrante con Flex
Soy novato en flex. Estoy tratando de escribir un escáner / lexer reentrante simple con flex. La definición del lexer va abajo. Me atasco con los errores de compilación como se muestra a continuación (problema yyg): reentrant.l:/* Definitions */ ...
¿Cómo implemento la declaración If en Flex / bison?
No recibo el error, por favor, ¿pueden ayudarme? Aquí está el archivo .l y .y.Gracias. %{ #include "ifanw.tab.h" extern int yylval; %} %% "=" { return EQ; } "!=" { return NE; } "<" { return LT; } "<=" { return LE; } ">" { return GT; } ">=" ...
¿Cómo definir una expresión regular en StandardTokenParsers para identificar la ruta?
Estoy escribiendo un analizador en el que quiero analizar expresiones aritméticas como: /hdfs://xxx.xx.xx.x:xxxx/path1/file1.jpg+1 Quiero analizarlo, cambiar el infijo a postfix y hacer el cálculo. Usé ayuda de una parte decódigo en otra ...
¿Cómo puedo encontrar solo palabras "interesantes" de un corpus?
Estoy analizando oraciones. Quiero saber el contenido relevante de cada oración, definida libremente como "palabras semi-únicas" en relación con el resto del corpus. Algo similar a las "frases estadísticamente improbables" de Amazon, que parecen ...