Могу ли я выполнить scrapy (python) обход за пределами проекта dir?
Документы говорят, что я могу выполнить только команду crawl внутри директории проекта:
scrapy crawl tutor -o items.json -t json
но мне действительно нужно выполнить его в моем коде Python (файл Python не находится внутри директории текущего проекта)
Есть ли подход, соответствующий моему требованию?
Дерево моего проекта:
.
├── etao
│ ├── etao
│ │ ├── __init__.py
│ │ ├── items.py
│ │ ├── pipelines.py
│ │ ├── settings.py
│ │ └── spiders
│ │ ├── __init__.py
│ │ ├── etao_spider.py
│ ├── items.json
│ ├── scrapy.cfg
│ └── start.py
└── start.py <-------------- I want to execute the script here.
Любой вот мой код следовал этомуссылка но это не работает:
#!/usr/bin/env python
import os
#Must be at the top before other imports
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'project.settings')
from scrapy import project
from scrapy.conf import settings
from scrapy.crawler import CrawlerProcess
class CrawlerScript():
def __init__(self):
self.crawler = CrawlerProcess(settings)
if not hasattr(project, 'crawler'):
self.crawler.install()
self.crawler.configure()
def crawl(self, spider_name):
spider = self.crawler.spiders.create(spider_name) <--- line 19
if spider:
self.crawler.queue.append_spider(spider)
self.crawler.start()
self.crawler.stop()
# main
if __name__ == '__main__':
crawler = CrawlerScript()
crawler.crawl('etao')
ошибка:
line 19: KeyError: 'Spider not found: etao'