tengo el siguiente código. Sé que puedo usarapply_freq_filter función para filtrar las colocaciones que son menores que un recuento de frecuencia. Sin embargo, no sé cómo obtener las frecuencias de todas las tuplas n-gram (en mi caso bi-gramo) en un documento, antes de decidir qué frecuencia configurar para el filtrado. Como puede ver, estoy usando la clase de colocaciones nltk.

import nltk
from nltk.collocations import *
line = ""
open_file = open('a_text_file','r')
for val in open_file:
    line += val
tokens = line.split()

bigram_measures = nltk.collocations.BigramAssocMeasures()
finder = BigramCollocationFinder.from_words(tokens)
finder.apply_freq_filter(3)
print finder.nbest(bigram_measures.pmi, 100)