Используйте больше данных ...

аюсь получить биграммы в предложениях, используя фразы в Gensim следующим образом.

from gensim.models import Phrases
from gensim.models.phrases import Phraser
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"]

sentence_stream = [doc.split(" ") for doc in documents]
#print(sentence_stream)
bigram = Phrases(sentence_stream, min_count=1, threshold=2, delimiter=b' ')
bigram_phraser = Phraser(bigram)

for sent in sentence_stream:
    tokens_ = bigram_phraser[sent]
    print(tokens_)

Даже при том, что это «новый», «йорк» как «нью-йорк», он не ловит «машину», обучаясь как «машинное обучение»

Однако впример показан на сайте Gensim они могли уловить слова «машина», «обучение» как «машинное обучение».

Пожалуйста, дайте мне знать, как получить "машинное обучение" в качестве биграммы в приведенном выше примере

Ответы на вопрос(2)

Ваш ответ на вопрос