Я пытаюсь написать очень простой сканер веб-сайтов для перечисления URL-адресов вместе с реферером и кодами состояния для кодов состояния 200, 301, 302 и 404 http.

Оказывается, Scrapy отлично работает, и мой скрипт использует его правильно для сканирования сайта и может без проблем перечислять URL-адреса с 200 и 404 кодами состояния.

Проблема в: Я не могу найти, как заставить scrapy следовать за перенаправлениями И анализировать / выводить их. Я могу заставить одного работать, но не оба.

Что я пробовал до сих пор:

установкаmeta={'dont_redirect':True} и настройкаREDIRECTS_ENABLED = False

добавление 301, 302 в список handle_httpstatus_list

изменение настроек, указанных в документе по перенаправлению промежуточного программного обеспечения

чтение кода перенаправления промежуточного программного обеспечения для понимания

различные комбо всего вышеперечисленного

другие случайные вещи

Вотпубличное репо если вы хотите взглянуть на код.