Используйте больше данных ...
аюсь получить биграммы в предложениях, используя фразы в Gensim следующим образом.
from gensim.models import Phrases
from gensim.models.phrases import Phraser
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"]
sentence_stream = [doc.split(" ") for doc in documents]
#print(sentence_stream)
bigram = Phrases(sentence_stream, min_count=1, threshold=2, delimiter=b' ')
bigram_phraser = Phraser(bigram)
for sent in sentence_stream:
tokens_ = bigram_phraser[sent]
print(tokens_)
Даже при том, что это «новый», «йорк» как «нью-йорк», он не ловит «машину», обучаясь как «машинное обучение»
Однако впример показан на сайте Gensim они могли уловить слова «машина», «обучение» как «машинное обучение».
Пожалуйста, дайте мне знать, как получить "машинное обучение" в качестве биграммы в приведенном выше примере