Como rastrear milhares de páginas usando scrapy?
Estou olhando para rastrear milhares de páginas e preciso de uma solução. Todo site tem seu próprio código html - todos eles são sites únicos. Nenhum feed de dados ou API limpo está disponível. Espero carregar os dados capturados em algum tipo de banco de dados.
Alguma idéia de como fazer isso com scrapy, se possível?