Resultados da pesquisa a pedido "web-crawler"
Qual rastreador da Web para extrair e analisar dados de cerca de mil sites
Estou tentando rastrear cerca de milhares de sites, dos quais estou interessado apenas no conteúdo html.Então eu transformo o HTML em XML para ser analisado ...
Raspagem de dados com scrapy [closed]
Eu quero fazer uma nova ferramenta de apostas, mas eu preciso de um banco de dados de probabilidades e resultados e não consigo encontrar nada na web. Eu enc...
Existe uma lista de rastreadores da Web conhecidos? [fechadas]
Estou tentando obter números de download precisos para alguns arquivos em um servidor da web. Eu olho para os agentes do usuário e alguns são claramente bots...
scrapy crawl [nome da aranha] falha
Oi pessoal eu estou construindo um projeto de web scraping usando scrapy framework e python. Na pasta spider do meu projeto eu tenho duas aranhas chamadas sp...
A linha do User-Agent no robots.txt é uma correspondência exata ou uma correspondência de substring?
Quando um rastreador lê a linha User-Agent de um arquivo robots.txt, ele tenta correspondê-lo exatamente ao seu próprio User-Agent ou ele tenta associá-lo co...
Pergunta Scrapy SgmlLinkExtractor
Eu estou tentando fazer o SgmlLinkExtractor funcionar.Esta é a assinatura: