Resultados da pesquisa a pedido "tokenize"
Android e o CommaTokenizer
Eu preciso de um Tokenizer (para o AutoCompleteTextview) que pode fazer o seguinte: Duas palavras devem ser reconhecidas como tal quando separadas por um caractere em brancoDuas palavras também devem ser reconhecidas como tal quando ...
Python - RegEx para dividir texto em frases (tokenizing de frase) [duplicado]
Esta pergunta já tem uma resposta aqui: Python dividir texto em frases [/questions/4576077/python-split-text-on-sentences] 9 respostasQuero fazer uma lista de frases de uma string e imprimi-las. Não quero usar o NLTK para fazer isso. Portanto, ...
Arquivo de token C definido para flex?
Eu quero dividir um arquivo C em tokens, não para compilar, mas para analisar. Acho que isso deve ser bem direto e tentei procurar on-line por umtokens.lrquivo @ (ou algo semelhante) para flex com toda a gramática C já definida, mas não ...
Regex C ++: obtenha o índice do Grupo de Captura ao qual o SubMatch correspondeu
Contexto. Estou desenvolvendo um mecanismo Lexer / Tokenizing, que usaria regex como back-end. O lexer aceita regras que definem os tipos / IDs de token, por exemplo <identifier> = "\\b\\w+\\b". Como eu imagino, para executar a tokenização ...
Preenchendo vários caracteres com espaço - python
Noperl, Posso fazer o seguinte com preenchendo meus símbolos de pontuação com espaços: s/([،;؛¿!"\])}»›”؟%٪°±©®।॥…])/ $1 /g;`NoPython, Eu tentei isso: >>> p = u'،;؛¿!"\])}»›”؟%٪°±©®।॥…' >>> text = u"this, is a sentence with weird» symbols… ...
Existe um tokenizador para um arquivo cpp
Eu tenho um arquivo cpp com uma implementação de classe enorme. Agora eu tenho que modificar o próprio arquivo de origem. Para isso, existe uma biblioteca / api / tool que irá tokenizar esse arquivo para mim e me fornecer um token cada vez que ...
Pythonic maneira de implementar um tokenizer
Vou implementar um tokenizador em Python e fiquei pensando se você poderia oferecer algum conselho de estilo? Eu implementei um tokenizer antes em C e em Java, então estou bem com a teoria, gostaria de garantir que estou seguindo os estilos ...
Existe uma função para dividir uma string no PL / SQL?
Preciso escrever um procedimento para normalizar um registro que tenha vários tokens concatenados por um caractere. Preciso obter esses tokens dividindo a string e inserir cada um como um novo registro em uma tabela. O Oracle tem algo como uma ...
como obter dados entre aspas em java?
Eu tenho essas linhas de texto o número de citações poderia mudar como: