@ Темно Может быть ... но я не думаю, что это предназначено для работы с пандами.
лизирую данные пандыdf1 содержащий строки строк У меня есть список ключевых слов и мне нужно удалить каждую строку вdf1 содержащий любое слово из списка литературы.
В настоящее время я делаю это так:
reference_list: ["words", "to", "remove"]
df1 = df1[~df1[0].str.contains(r"words")]
df1 = df1[~df1[0].str.contains(r"to")]
df1 = df1[~df1[0].str.contains(r"remove")]
Который не масштабируется до тысяч слов. Тем не менее, когда я делаю:
df1 = df1[~df1[0].str.contains(reference_word for reference_word in reference_list)]
Я выдаю ошибкупервый аргумент должен быть строкой или скомпилированным шаблоном.
Следующийэто Решение, я попробовал:
reference_list: "words|to|remove"
df1 = df1[~df1[0].str.contains(reference_list)]
Что не вызывает исключения, но не разбирает все слова.
Как эффективно использовать str.contains со списком слов?
Ответы на вопрос(1)
|передать этоstr.containsиспользовать результат для фильтрацииdf1Индексировать 0го колонка, не используйтеdf1[0] (поскольку это может считаться неоднозначным). Было бы лучше использоватьloc или жеiloc (Смотри ниже).
words = ["words", "to", "remove"]
mask = df1.iloc[:, 0].str.contains(r'\b(?:{})\b'.format('|'.join(words)))
df1 = df1[~mask]
Примечание: это также будет работать, еслиwords это серия.
В качестве альтернативы, если ваш 0го столбец является столбцом только слова (не предложения), то вы можете использоватьdf.isin, который должен быть быстрее -
df1 = df1[~df1.iloc[:, 0].isin(words)]
flashtext это звучит многообещающе.
str.contains.for reference_word in reference_list:Which doesn't raise an exception but doesn't parse all words eather.? Можете ли вы привести пример, который показывает, что он не работает? Потому что так и должно быть.