Запустите несколько пауков-скрапов одновременно с помощью скрапа
Я используюSCRAPY для проекта, где я хочу очистить несколько сайтов - возможно, сотни - и мне нужно написать отдельного паука для каждого сайта. Я могу запланироватьone Spider в проекте, развернутом на scrapyd с помощью:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2
Но как мне планироватьall пауки в проекте сразу?
Вся помощь очень ценится!