Я попытался переопределить user-agent моего crawlspider, добавив в проект дополнительную строкуконфигурационный файл, Вот код:

[settings]
default = myproject.settings
USER_AGENT = "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"


[deploy]
#url = http://localhost:6800/
project = myproject

Но когда я запускаю сканер на своем собственном веб-сайте, я замечаю, что паук не подобрал моего пользовательского агента, а по умолчанию "Scrapy / 0.18.2 (+http://scrapy.org). Может кто-нибудь объяснить, что я сделал не так.

Примечание:

(1). Это работает, когда я пытался переопределитьпользовательский агент по всему миру:

scrapy crawl myproject.com -o output.csv -t csv -s USER_AGENT="Mozilla...."

(2). Когда я удаляю строку «default = myproject.setting» из файла конфигурации и запускаю scrapy crawl myproject.com, он говорит «не могу найти паука ...», поэтому я чувствую, что настройки по умолчанию не должны быть удалены в этом случае.

Большое спасибо за помощь заранее.