Resultados da pesquisa a pedido "nlp"
Salvar e reutilizar o TfidfVectorizer no scikit learn
Estou usando o TfidfVectorizer no scikit learn para criar uma matriz a partir de dados de texto. Agora preciso salvar esse objeto para reutilizá-lo mais tarde. Eu tentei usar pickle, mas deu o seguinte erro. loc=open('vectorizer.obj','w') ...
NLTK pos_tag do Python não retorna a tag correta da parte do discurso
Tendo isto: text = word_tokenize("The quick brown fox jumps over the lazy dog")E correndo: nltk.pos_tag(text)Eu recebo: [('The', 'DT'), ('quick', 'NN'), ('brown', 'NN'), ('fox', 'NN'), ('jumps', 'NNS'), ('over', 'IN'), ('the', 'DT'), ('lazy', ...
Como usar o OpenNLP para obter tags POS no R?
Aqui está o código R: library(NLP) library(openNLP) tagPOS <- function(x, ...) { s <- as.String(x) word_token_annotator <- Maxent_Word_Token_Annotator() a2 <- Annotation(1L, "sentence", 1L, nchar(s)) a2 <- annotate(s, word_token_annotator, a2) ...
Classificação de documentos em categorias
Eu tenho cerca de 300 mil documentos armazenados em um banco de dados do Postgres que são marcados com categorias de tópicos (existem cerca de 150 categorias no total). Tenho outros 150 mil documentos que ainda não têm categorias. Estou tentando ...
Como rotular automaticamente um cluster de palavras usando semântica?
O contexto é: eu já tenho grupos de palavras (na verdade frases) resultantes de kmeans aplicados a consultas de pesquisa na Internet e usando URLs comuns nos resultados do mecanismo de pesquisa à distância (co-ocorrência de URLs em vez ...
O NLTK possui uma ferramenta para análise de dependência?
Estou criando um aplicativo de PNL e tenho usado o Stanford Parser na maior parte do meu trabalho de análise, mas gostaria de começar a usar o Python. Até agora, o NLTK parece ser a melhor aposta, mas não consigo descobrir como analisar ...
Como calcular a distância mais curta do caminho (geodésico) entre dois adjetivos no WordNet usando o Python NLTK?
O cálculo da semelhança semântica entre dois synsets no WordNet pode ser feito facilmente com várias medidas de similaridade internas, ...
Semelhança cosseno de vetores de comprimentos diferentes?
Estou tentando usar o TF-IDF [https://stackoverflow.com/questions/3113428/classifying-documents-into-categories/3114191#3114191] para classificar documentos em categorias. Eu calculei o tf_idf para alguns documentos, mas agora, quando tento ...
Como calcular precisão, recall, exatidão e pontuação f1 para o caso multiclasse com o scikit learn?
Estou trabalhando em um problema de análise de sentimentos, com os dados assim: label instances 5 1190 4 838 3 239 1 204 2 127Portanto, meus dados estão desequilibrados desde 1190instances são rotulados com5. Para a classificação, estou usando ...
todas as conclusões possíveis de forma de palavra do radical de uma palavra (biomédica)
Estou familiarizado com a derivação de palavras e a conclusão do pacote tm em R. Estou tentando criar um método rápido e sujo para encontrar todas as variantes de uma determinada palavra (dentro de um corpus). Por exemplo, eu gostaria de obter ...