Resultados da pesquisa a pedido "scrapy-spider"
Não é possível se livrar de linhas em branco na saída csv
Eu escrevi um script muito pequeno em python scrapy para analisar o nome, a rua e o número de telefone exibidos em várias páginas do site da página amarela. Quando executo meu script, acho que ele funciona sem problemas. No entanto, o único ...
raspar várias páginas com raspar
Estou tentando usar o scrapy para raspar um site que tenha várias páginas de informações. meu código é: from scrapy.spider import BaseSpider from scrapy.selector import Selector from tcgplayer1.items import Tcgplayer1Item class ...
Exportar arquivo csv de scrapy (não via linha de comando)
Tentei exportar meus itens com sucesso para um arquivo csv na linha de comando, como: scrapy crawl spiderName -o filename.csvMinha pergunta é: Qual é a solução mais fácil de fazer o mesmo no código? Preciso disso enquanto extraio o nome ...
Scrapy: Extrair links e texto
Eu sou novo no scrapy e estou tentando raspar a página do site da Ikea. A página básica com a lista de locais, conforme indicadoaqui [http://www.ikea.com/]. Minhasitems.pyarquivo é dado abaixo: import scrapy class IkeaItem(scrapy.Item): name = ...
Herança múltipla em aranhas arranhadas
É possível criar uma aranha que herda a funcionalidade de duas aranhas base, a saber SitemapSpider e CrawlSpider? Eu tenho tentado raspar dados de vários sites e percebi que nem todos os sites têm uma lista de todas as páginas do site, portanto, ...
Passar argumento para scrapy spider dentro de um script python
Posso executar o rastreamento em um script python com a seguinte receita do wiki: from twisted.internet import reactor from scrapy.crawler import Crawler from scrapy import log, signals from testspiders.spiders.followall import FollowAllSpider ...
Como evitar um erro twisted.internet.error.ConnectionLost ao usar Scrapy?
Estou raspando algumas páginas comscrapy [http://scrapy.org/]e obtenha o seguinte erro: twisted.internet.error.ConnectionLost Minha saída de linha de comando: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opened 2015-05-04 ...
Scrapy: captura respostas com códigos de servidor HTTP específicos
Temos um projeto Scrapy padrão (Scrapy 0.24). Gostaria de pegar códigos de resposta HTTP específicos, como 200, 500, 502, 503, 504 etc. Algo parecido: class Spider(...): def parse(...): processes HTTP 200 def parse_500(...): processes HTTP 500 ...
Multiprocessamento de aranhas riscadas em processos paralelos
Existem várias perguntas semelhantes que eu já li no Stack Overflow. Infelizmente, perdi links de todos eles, porque meu histórico de navegação foi excluído inesperadamente. Todas as perguntas acima não puderam me ajudar. Alguns deles usaram ...
Raspagem de repetição de aranha
Para uma página que estou tentando raspar, às vezes recebo uma página de "espaço reservado" na minha resposta que contém algum javascript que é carregado automaticamente até que ela chegue à página real. Posso detectar quando isso acontece e ...