Führen Sie mit Scrapyd mehrere Scrapy-Spinnen gleichzeitig aus
Ich benutzeSchrott Für ein Projekt, bei dem ich mehrere Websites - möglicherweise Hunderte - abkratzen möchte und für jede Website eine bestimmte Spinne schreiben muss. Ich kann planenein spider in einem Projekt, das auf scrapyd implementiert wurde, mit:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2
Aber wie terminiere ich?alles Spinnen in einem Projekt auf einmal?
Alle helfen sehr geschätzt!