Resultados da pesquisa a pedido "scrapy"
Scrapy grab div com várias classes?
Eu estou tentando pegar div's com a classe: 'product'. O problema é que algumas divs com a classe 'product' também possuem a classe 'product-small'. Então, quando eu usoxpath('//div[@class='product']'), ele captura apenas os divs com uma classe e ...
Scrapy: passe argumentos para cmdline.execute ()
Eu sei como passar argumentos ao executar uma aranha raspada na linha de comando. No entanto, estou tendo problemas ao tentar executá-lo programaticamente a partir de um script usando cmdline.execute () do scrapy. Os argumentos que preciso ...
Raspe com selênio para uma página da web que requer autenticação
Estou tentando raspar dados de uma página que possui muitas chamadas AJAX e execução de javascript para renderizar a página da Web. Então, estou tentando usar raspar com selênio para fazer isso. O modus operandi é o seguinte: Adicione o URL da ...
Passar argumento para scrapy spider dentro de um script python
Posso executar o rastreamento em um script python com a seguinte receita do wiki: from twisted.internet import reactor from scrapy.crawler import Crawler from scrapy import log, signals from testspiders.spiders.followall import FollowAllSpider ...
Herança múltipla em aranhas arranhadas
É possível criar uma aranha que herda a funcionalidade de duas aranhas base, a saber SitemapSpider e CrawlSpider? Eu tenho tentado raspar dados de vários sites e percebi que nem todos os sites têm uma lista de todas as páginas do site, portanto, ...
Converta o XPath obtido do navegador em XPath utilizável para Scrapy
Esse é um problema que eu sempre tenho ao obter um XPath específico no meu navegador. Suponha que eu queira extrair todas as imagens de alguns sites como o Google Image Search ou Pinterest. Quando eu usoInspect element então usecopy XPath ...
python converte caracteres chineses em url
Eu tenho um URL como href = "../ job / jobarea.asp? C_jobtype = 主管 管理 主管 & peoplenumber = 151", isso é mostrado no elemento inspecionar. Mas quando aberto em uma nova guia, está mostrando ...
Usando loginform com scrapy
A estrutura fragmentada (https://github.com/scrapy/scrapy [https://github.com/scrapy/scrapy]) fornece uma biblioteca para uso ao fazer login em sites que exigem ...
Escrevendo um programa para criar fóruns
Preciso escrever um programa para criar fóruns. Devo escrever o programa em Python usando a estrutura Scrapy ou devo usar Php cURL? Também existe um php equivalente ao Scrapy? obrigado
Pipeline scrapy para exportar arquivo csv no formato certo
Fiz a melhoria de acordo com a sugestão do alexce abaixo. O que eu preciso é como na figura abaixo. No entanto, cada linha / linha deve ter uma revisão: com data, classificação, texto e link da revisão. Eu preciso deixar o processador de itens ...