Хотя это не совсем то, что вы просили, вы можете избавиться от всех неуникальных токенов, используя

олчаниюsplit Метод в Python обрабатывает последовательные пробелы как один разделитель. Но если указать строку разделителя, последовательные разделители будутне рухнул:

>>> 'aaa'.split('a')
['', '', '', '']

Какой самый простой способ свернуть последовательные разделители? Я знаю, что могу просто удалить пустые строки из списка результатов:

>>> result = 'aaa'.split('a')
>>> result
['', '', '', '']
>>> result = [item for item in result if item]

Но есть ли более удобный способ?