Я пишу сканер для веб-сайта, использующего скрапинг с CrawlSpider.

Scrapy предоставляет встроенный фильтр повторяющихся запросов, который фильтрует повторяющиеся запросы на основе URL. Также я могу фильтровать запросы используяправила член CrawlSpider.

Что я хочу сделать, это отфильтровать запросы, как:

http:://www.abc.com/p/xyz.html?id=1234&refer=5678

Если я уже посетил

http:://www.abc.com/p/xyz.html?id=1234&refer=4567

НОТА: ссылка это параметр, который нене влияет на ответ, который я получаю, поэтому я невсе равно, если значение этого параметра изменится.

Теперь, если у меня есть набор, который накапливает всеидентификаторы Я мог игнорировать это в моей функции обратного вызоваparse_item (тот'моя функция обратного вызова) для достижения этой функциональности.

Но это означало бы, что я по крайней мере получаю эту страницу, когда я неТ надо.

Так как же я могу сказать скрапу, что он не долженотправить конкретный запрос на основе URL?