Resultados de la búsqueda a petición "tokenize"
Cómo usar stringstream para separar cadenas separadas por comas [duplicar]
Esta pregunta ya tiene una respuesta aquí: ¿Cómo itero sobre las palabras de una cadena? [/questions/236129/how-do-i-iterate-over-the-words-of-a-string] 76 respuestas Tengo el siguiente código: std::string str = "abc def,ghi"; ...
RegEx Tokenizer para dividir un texto en palabras, dígitos y signos de puntuación
o que quiero hacer es dividir un texto en sus elementos principales. Por ejemplo from nltk.tokenize import * txt = "A sample sentences with digits like 2.119,99 or 2,99 are awesome." regexp_tokenize(txt, ...
Superpower: empareja una cadena con el analizador sintáctico solo si comienza una línea
Al analizar en superpotencia, ¿cómo hacer coincidir una cadena solo si es lo primero en una línea? Por ejemplo, necesito hacer coincidir los dos puntos A en "A: Hola adiós \ n" pero no en "Adiós A: Hola \ n"
¿Cómo tokenizo una cadena en C ++?
Java tiene un método de división conveniente: String str = "The quick brown fox"; String[] results = str.split(" ");Existe una manera fácil de hacer esto en C ++?
Utilizando Boost Tokenizer escaped_list_separator con diferentes parámetros
Hola, he estado tratando de hacer que un tokenizador funcione usando la clase de tokenizer de la biblioteca boost. Encontré este tutorial en la documentación de impulso: http: //www.boost.org/doc/libs/1 _36 _0 / libs / tokenizer / escaped ...
La mejor manera de analizar texto separado por espacios
Tengo una cadena como esta /c SomeText\MoreText "Some Text\More Text\Lol" SomeText Quiero tokenizarlo, sin embargo, no puedo dividirme en los espacios. Se me ocurrió un analizador algo feo que funciona, pero me pregunto si alguien tiene un ...
Android y el CommaTokenizer
Necesito un Tokenizer (para AutoCompleteTextview) que puede hacer lo siguiente: Dos palabras deben reconocerse como tales cuando están separadas por un carácter en blancoDos palabras también deben reconocerse como tales cuando están separadas ...
PHP eliminación / asignación de espacio de nombres y reescritura de identificadores
Estoy intentando automatizar la eliminación de espacios de nombres de una colección de clases PHP para hacerlos compatibles con PHP 5.2. (A los proveedores de alojamiento compartido no les gustan las instalaciones falsas de PHP 5.3. No tengo ...
Es un trabajo de Lexer analizar números y cadenas?
Es el trabajo de un lexer analizar números y cadenas? sto puede o no sonar tonto, dado el hecho de que estoy preguntando si un lexer deberíaanalizar gramaticalment entrada. Sin embargo, no estoy seguro de si ese es realmente el trabajo del lexer ...
¿Cómo usar un analizador Lucene para tokenizar una cadena?
Existe una manera simple de utilizar cualquier subclase de LucenAnalyzer para analizar / tokenizar unString? Algo como String to_be_parsed = "car window seven"; Analyzer analyzer = new StandardAnalyzer(...); List<String> tokenized_string ...