Я работаю с классом CrawlSpider для сканирования веб-сайта, и я хотел бы изменить заголовки, которые отправляются в каждом запросе. В частности, я бы хотел добавить к запросу реферер.

Согласноэтот вопрос, Я проверил

response.request.headers.get('Referer', None)

в моей функции разбора ответа и томуReferer заголовка нету. Я предполагаю, что это означает, что Реферер не представлен в запросе (если веб-сайт неверни это, яя не уверен в этом).

У меня нетЯ не мог понять, как изменить заголовки запроса. Опять же, мой паук является производным от CrawlSpider. Переопределение CrawlSpider's_requests_to_follow или указавprocess_request обратный вызов для правила не будет работать, поскольку реферер в это время не находится в области видимости.

Кто-нибудь знает, как динамически изменять заголовки запроса?