Resultados da pesquisa a pedido "gensim"
Como obter uma distribuição completa de tópicos para um documento usando o gensim LDA?
Quando treino meu modelo lda como tal dictionary = corpora.Dictionary(data) corpus = [dictionary.doc2bow(doc) for doc in data] num_cores = multiprocessing.cpu_count() num_topics = 50 lda = LdaMulticore(corpus, num_topics=num_topics, ...
Por que vários arquivos de modelo são criados no gensim word2vec?
Quando tento criar um modelo word2vec (skipgram com amostragem negativa), recebi 3 arquivos como saída, da seguinte maneira. word2vec (File) word2vec.syn1nef.npy (NPY file) word2vec.wv.syn0.npy (NPY file) Só estou preocupado por que isso ...
Cluster de sentenças Doc2Vec
Eu tenho vários documentos que contêm várias frases. Eu quero usardoc2vecpara agrupar (por exemplo, k-means) os vetores de sentença usandosklearn. Como tal, a ideia é que sentenças semelhantes sejam agrupadas em vários grupos. No entanto, não ...
Erro ao extrair frases usando o Gensim
Estou tentando obter os bigrams nas frases usando frases no Gensim da seguinte maneira. from gensim.models import Phrases from gensim.models.phrases import Phraser documents = ["the mayor of new york was there", "machine learning can be ...
Usando o word2vec para classificar palavras em categorias
FUNDO Eu tenho vetores com alguns dados de amostra e cada vetor tem um nome de categoria (Locais, Cores, Nomes). ['john','jay','dan','nathan','bob'] -> 'Names' ['yellow', 'red','green'] -> 'Colors' ['tokyo','bejing','washington','mumbai'] -> ...
gensim - Doc2Vec: MemoryError ao treinar na Wikipedia em inglês
Extraí 145.185.965 sentenças (14GB) do dump da wikipedia em inglês e quero treinar um modelo Doc2Vec com base nessas sentenças. Infelizmente, tenho apenas 32 GB de RAM e recebo umaMemoryError ao tentar treinar. Mesmo se eu definir o min_count ...
Como carregar frases no Python gensim?
Estou tentando usar oword2vec [http://radimrehurek.com/gensim/models/word2vec.html]módulo degensim biblioteca de processamento de linguagem natural em Python. Os documentos dizem para inicializar o modelo: from gensim.models import word2vec ...
O que significa sintaxe "palavra por palavra" em Python?
Eu vejo o seguinte snippet de script dopágina de tutorial do gensim [http://radimrehurek.com/gensim/tut1.html]. Qual é a sintaxe depalavra por palavraabaixo do script Python? >> texts = [[word for word in document.lower().split() if word not in ...
Distribuição de tópicos: como vemos qual documento pertence a qual tópico após executar o LDA em python
Sou capaz de executar o código LDA da gensim e obtive os 10 principais tópicos com suas respectivas palavras-chave. Agora eu gostaria de dar um passo adiante para ver o quão preciso é o algo do LDA, vendo qual documento eles agrupam em cada ...
Atualizar o modelo gensim word2vec
Eu tenho um modelo word2vec em gensim treinado sobre 98892 documentos. Para qualquer frase que não esteja presente na matriz de frases (ou seja, o conjunto sobre o qual eu treinei o modelo), preciso atualizar o modelo com essa frase para que a ...