Eu tenho vários documentos que contêm várias frases. Eu quero usardoc2vec para agrupar (por exemplo, k-means) os vetores de sentença usandosklearn.

Como tal, a ideia é que sentenças semelhantes sejam agrupadas em vários grupos. No entanto, não está claro para mim se tenho que treinar todos os documentos separadamente e usar um algoritmo de agrupamento nos vetores de frases. Ou, se eu pudesse inferir um vetor de frase do doc2vec sem treinar cada nova frase.

No momento, este é um trecho do meu código:

sentenceLabeled = []
for sentenceID, sentence in enumerate(example_sentences):
    sentenceL = TaggedDocument(words=sentence.split(), tags = ['SENT_%s' %sentenceID])
    sentenceLabeled.append(sentenceL)

model = Doc2Vec(size=300, window=10, min_count=0, workers=11, alpha=0.025, 
min_alpha=0.025)
model.build_vocab(sentenceLabeled)
for epoch in range(20):
    model.train(sentenceLabeled)
    model.alpha -= 0.002  # decrease the learning rate
    model.min_alpha = model.alpha  # fix the learning rate, no decay
textVect = model.docvecs.doctag_syn0

## K-means ##
num_clusters = 3
km = KMeans(n_clusters=num_clusters)
km.fit(textVect)
clusters = km.labels_.tolist()

## Print Sentence Clusters ##
cluster_info = {'sentence': example_sentences, 'cluster' : clusters}
sentenceDF = pd.DataFrame(cluster_info, index=[clusters], columns = ['sentence','cluster'])

for num in range(num_clusters):
     print()
     print("Sentence cluster %d: " %int(num+1), end='')
     print()
     for sentence in sentenceDF.ix[num]['sentence'].values.tolist():
        print(' %s ' %sentence, end='')
        print()
    print()

Basicamente, o que estou fazendo agora é treinar todas as frases do documento. No entanto, se tiver a ideia de que isso poderia ser feito de uma maneira mais simples.

Eventualmente, as frases que contêm palavras semelhantes devem ser agrupadas e impressas. Nesse ponto, o treinamento de cada documento separadamente não revela claramente nenhuma lógica dentro dos clusters.

Espero que alguém possa me orientar na direção certa. Obrigado.