Самый простой способ запустить Scrapy Crawler, чтобы он не блокировал скрипт
Официальные документы дать много способов для бегаscrapy сканеры из кода:
import scrapy
from scrapy.crawler import CrawlerProcess
class MySpider(scrapy.Spider):
# Your spider definition
...
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished
Но все они блокируют скрипт до завершения сканирования. Какой самый простой способ в python запустить сканер неблокирующим, асинхронным способом?