Verwenden Sie scikit-learn TfIdf mit gensim LDA
Ich habe verschiedene Versionen von TFIDF in scikit verwendet, um einige Textdaten zu modellieren.
vectorizer = TfidfVectorizer(min_df=1,stop_words='english')
Die resultierenden Daten X haben folgendes Format:
<rowsxcolumns sparse matrix of type '<type 'numpy.float64'>'
with xyz stored elements in Compressed Sparse Row format>
Ich wollte mit LDA experimentieren, um die Dimensionalität meiner spärlichen Matrix zu reduzieren. Gibt es eine einfache Möglichkeit, die NumPy-Sparse-Matrix X in ein Gensim-LDA-Modell einzuspeisen?
lda = models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=100)
Ich kann Scikit ignorieren und wie im Tutorial für Gensim beschrieben vorgehen, aber ich mag die Einfachheit der Scikit-Vektorisierer und all ihrer Parameter.