Resultados da pesquisa a pedido "scrapy"
scrapy pode ser usado para raspar conteúdo dinâmico de sites que usam AJA
Estive aprendendo Python recentemente e estou mergulhando minha mão na criação de um raspador da Web. Não é nada chique; seu único objetivo é obter os dados de um site de apostas e colocá-los no Excel. A maioria dos problemas é solucionável e ...
python converte caracteres chineses em url
Eu tenho um URL como href = "../ job / jobarea.asp? C_jobtype = 主管 管理 主管 & peoplenumber = 151", isso é mostrado no elemento inspecionar. Mas quando aberto em uma nova guia, está mostrando ...
Como combinar scrapy e htmlunit para rastrear URLs com javascript
Estou trabalhando no Scrapy para rastrear páginas, no entanto, não consigo lidar com as páginas com javascript. As pessoas sugerem que eu use a unidade html, então eu a instalei, mas não sei como usá-la. Alguém pode dar um exemplo (scrapy + ...
Scrapy Unit Testing
Gostaria de implementar alguns testes de unidade em um Scrapy (raspador de tela / rastreador da web). Como um projeto é executado através do comando "scrapy crawl", posso executá-lo através de algo como o nariz. Como o scrapy é construído sobre ...
Baixe uma página completa com scrapy
Quero baixar o conteúdo de uma página inteira usando scrapy. Com selênio, isso é bastante fácil: import os,sys reload(sys) sys.setdefaultencoding('utf8') from selenium import webdriver url = 'https://es.wikipedia.org/wiki/Python' driver ...
Scrapy, privoxy e Tor: SocketError: [Erro 61] Conexão recusada
Estou usando o Scrapy com Privoxy e Tor. Aqui está a minha pergunta anterior Scrapy com Privoxy e Tor: como renovar ...
Como usar o CrawlSpider do scrapy para clicar em um link com o javascript onclick?
Quero raspar rastreio de páginas nas quais o próximo link fica assim: <a href="#" onclick="return gotoPage('2');"> Next </a>O scrapy será capaz de interpretar o código javascript disso? Comlivehttpheaders extensão, descobri que clicar em Next ...
Raspar com selênio rastejando, mas não raspar
Eu li todos os tópicos sobre o uso do scrapy para páginas AJAX e instalei o selenium webdrive para simplificar a tarefa, minha aranha pode rastrear parcialmente, mas não consegue obter dados nos meus itens. Meus objetivos são: Rastrear deesta ...
Como o scrapy usa regras?
Sou iniciante no uso do Scrapy e queria entender como as regras estão sendo usadas no CrawlSpider. Se eu tenho uma regra na qual estou pesquisando nas páginas amarelas para listagens de cupcakes em Tucson, AZ, como a solicitação de URL ativa a ...