Я пишу сканер для веб-сайта, использующего скрапинг с CrawlSpider.

Scrapy предоставляет встроенный фильтр повторяющихся запросов, который фильтрует повторяющиеся запросы на основе URL. Также я могу фильтровать запросы используяrules член CrawlSpider.

Что я хочу сделать, это отфильтровать запросы, как:

http:://www.abc.com/p/xyz.html?id=1234&refer=5678

Если я уже посетил

http:://www.abc.com/p/xyz.html?id=1234&refer=4567

NOTE: refer is a parameter that doesn't affect the response I get, so I don't care if the value of that parameter changes.

Теперь, если у меня есть набор, который накапливает всеids Я мог игнорировать это в моей функции обратного вызоваparse_item (это моя функция обратного вызова) для достижения этой функциональности.

Но это означало бы, что я все еще загружаю эту страницу, когда мне это не нужно.

Так каким образом я могу сказать scrapy, что он не должен отправлять конкретный запрос на основе URL?