Eu tenho o seguinte código. Eu sei que eu posso usarapply_freq_filter função para filtrar as colocações que são menos que uma contagem de frequência. No entanto, não sei como obter as frequências de todas as tuplas n-gram (no meu caso, bi-grama) em um documento, antes de decidir qual frequência definir para filtragem. Como você pode ver, estou usando a classe de colocações nltk.

import nltk
from nltk.collocations import *
line = ""
open_file = open('a_text_file','r')
for val in open_file:
    line += val
tokens = line.split()

bigram_measures = nltk.collocations.BigramAssocMeasures()
finder = BigramCollocationFinder.from_words(tokens)
finder.apply_freq_filter(3)
print finder.nbest(bigram_measures.pmi, 100)