Спасибо, это именно то, что я хочу. :-)
то я хочу сделать, это разделить текст на его конечные элементы.
Например:
from nltk.tokenize import *
txt = "A sample sentences with digits like 2.119,99 or 2,99 are awesome."
regexp_tokenize(txt, pattern='(?:(?!\d)\w)+|\S+')
['A','sample','sentences','with','digits','like','2.199,99','or','2,99','are','awesome','.']
Вы можете видеть, что это работает отлично. Моя проблема: что произойдет, если цифра находится в конце текста?
txt = "Today it's 07.May 2011. Or 2.999."
regexp_tokenize(txt, pattern='(?:(?!\d)\w)+|\S+')
['Today', 'it', "'s", '07.May', '2011.', 'Or', '2.999.']
Результат должен быть: ['Today', 'it', '' s ', '07 .May', '2011', '.', 'Or', '2.999', '.']
Что я должен сделать, чтобы получить результат выше?