Хотя это не совсем то, что вы просили, вы можете избавиться от всех неуникальных токенов, используя
олчаниюsplit
Метод в Python обрабатывает последовательные пробелы как один разделитель. Но если указать строку разделителя, последовательные разделители будутне рухнул:
>>> 'aaa'.split('a')
['', '', '', '']
Какой самый простой способ свернуть последовательные разделители? Я знаю, что могу просто удалить пустые строки из списка результатов:
>>> result = 'aaa'.split('a')
>>> result
['', '', '', '']
>>> result = [item for item in result if item]
Но есть ли более удобный способ?