Mam problem z NLTK w Pythonie, szczególnie z metodą .generate ().

generuj (własny, długość = 100)

Wydrukuj losowy tekst wygenerowany przy użyciu modelu języka trygramowego.

Parametry:

   * length (int) - The length of text to generate (default=100)

Oto uproszczona wersja tego, co próbuję.

import nltk

words = 'The quick brown fox jumps over the lazy dog'
tokens = nltk.word_tokenize(words)
text = nltk.Text(tokens)
print text.generate(3)

To będziezawsze Generować

Building ngram index...
The quick brown
None

W przeciwieństwie do budowania losowej frazy ze słów.

Oto mój dorobek, kiedy to robię

print text.generate()

Building ngram index...
The quick brown fox jumps over the lazy dog fox jumps over the lazy
dog dog The quick brown fox jumps over the lazy dog dog brown fox
jumps over the lazy dog over the lazy dog The quick brown fox jumps
over the lazy dog fox jumps over the lazy dog lazy dog The quick brown
fox jumps over the lazy dog the lazy dog The quick brown fox jumps
over the lazy dog jumps over the lazy dog over the lazy dog brown fox
jumps over the lazy dog quick brown fox jumps over the lazy dog The
None

Znowu zaczyna się od tego samego tekstu, ale potem zmienia go. Próbowałem też użyć pierwszego rozdziału z 1984 roku Orwella. I znowuzawsze zaczyna się od pierwszych 3 żetonów (z których jeden jest spacją w tym przypadku) inastępnie kontynuuje losowe generowanie tekstu.

Co ja tu robię źle?