Ejecuta múltiples arañas desechables a la vez usando scrapyd
Estoy usandoáspero para un proyecto donde quiero raspar una cantidad de sitios, posiblemente cientos, y tengo que escribir una araña específica para cada sitio. Puedo programaruno Spider en un proyecto desplegado para scrapyd usando:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2
Pero como programotodos ¿Arañas en un proyecto a la vez?
Toda la ayuda muy apreciada!