Resultados da pesquisa a pedido "scrapy"
como o scrapy-splash lida com a rolagem infinita?
Quero reverter a engenharia do conteúdo gerado rolando para baixo na página da web. O problema está no URLhttps://www.crowdfunder.com/user/following_page/80159?user_id=80159&limit=0&per_page=20&screwrand=933. screwrand parece não seguir nenhum ...
Como escrever personalizar o Downloader Middleware para selênio e Scrapy?
Estou tendo problemas para me comunicar entre selênio e objeto danificado. Estou usando o selênio para fazer login em algum site. Depois de receber essa resposta, quero usar os funcionários do scrape para analisar e processar. Por favor, alguém ...
pyconfig.h ausente durante a "criptografia de instalação do pip"
Eu quero configurar um cluster fragmentado siga este linkscrapy-cluster [http://scrapy-cluster.readthedocs.io/en/latest/topics/introduction/quickstart.html#cluster-quickstart] Tudo está bem antes de eu executar este comando: pip install -r ...
Não é possível obter o Scrapy para analisar e seguir os redirecionamentos 301, 302
Estou tentando escrever um rastreador de site muito simples para listar URLs, juntamente com códigos de referência e status para os códigos de status 200, 301, 302 e 404 http. Acontece que o Scrapy funciona muito bem e meu script o usa ...
Por que Scrapy retorna um Iframe?
eu quero rastejaresse site [http://www.ooshop.com/courses-en-ligne/Home.aspx]por Python-Scrapy eu tento isso class Parik(scrapy.Spider): name = "ooshop" allowed_domains = ["http://www.ooshop.com/courses-en-ligne/Home.aspx"] def ...
Arquivo de upload com scrapy
Estou fazendo uma solicitação de formulário para um site usando scrapy. O formulário requer o upload de um arquivo pdf. Como podemos fazê-lo no Scrapy. Estou tentando isso como ...
Como você faz um Scripts de selênio mais rápido?
Eu uso o python Selenium e Scrapy para rastrear um site. mas meu roteiro é muito lento, Crawled 1 pages (at 1 pages/min)Eu uso CSS SELECTOR em vez de XPATH para otimizar o tempo. eu mudo os ...
Fazendo login no Scrapy
Estou tendo problemas para fazer login com scrapy, e a maior parte do que posso encontrar está desatualizada. Eu arrumeiLOG_FILE="log.txt" nosettings.py arquivo e da documentação, isso deve funcionar: Scrapy fornece um criador de logs em cada ...
Baixe uma página completa com scrapy
Quero baixar o conteúdo de uma página inteira usando scrapy. Com selênio, isso é bastante fácil: import os,sys reload(sys) sys.setdefaultencoding('utf8') from selenium import webdriver url = 'https://es.wikipedia.org/wiki/Python' driver ...
Como definir um valor padrão quando o seletor Scrapy retorna Nenhum
Eu estava tentando definir o valor padrão quando o resultado do meu seletor xpath retorna Nenhum. Isso acontece quando em algumas páginas o nó xpath não existe e eu quero definir, por exemplo, 'N / A' ou 'Não encontrado'. Usei o código a seguir, ...