Resultados da pesquisa a pedido "scrapy"
Como evitar um erro twisted.internet.error.ConnectionLost ao usar Scrapy?
Estou raspando algumas páginas comscrapy [http://scrapy.org/]e obtenha o seguinte erro: twisted.internet.error.ConnectionLost Minha saída de linha de comando: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opened 2015-05-04 ...
Como usar o selênio e o scrapy para automatizar o processo?
Cheguei a um ponto em que você precisa usar webtoolkits como selênio para automatizar a raspagem. Como poderei clicar no próximo botão na loja do Google Play para raspar os comentários apenas para o meu objetivo na faculdade !! import scrapy ...
O objeto 'NoneType' não tem atributo '_app_data' em scrapy \ twisted \ openssl
Durante o processo de raspagem usando raspagem, um erro aparece nos meus logs de tempos em tempos. Ele não parece estar em nenhum lugar do meu código e parece algo dentro de twisted \ openssl. Alguma idéia do que causou isso e como se livrar ...
Noções básicas sobre como renomear imagens scrapy funciona
Eu vejo todas as perguntasaqui [https://stackoverflow.com/search?q=rename%20images%20scrapy], mas eu ainda não entendo. Na verdade, com o código abaixo, faço o que preciso, exceto renomear imagem, então tento alterar o nome noitems.py arquivo, ...
Raspando conteúdo dinâmico usando python-Scrapy
Isenção de responsabilidade: eu já vi várias outras postagens semelhantes no StackOverflow e tentei fazê-lo da mesma maneira, mas elas não parecem funcionar neste site. Estou usando o Python-Scrapy para obter dados do koovs.com. No entanto, não ...
Scrapy: captura respostas com códigos de servidor HTTP específicos
Temos um projeto Scrapy padrão (Scrapy 0.24). Gostaria de pegar códigos de resposta HTTP específicos, como 200, 500, 502, 503, 504 etc. Algo parecido: class Spider(...): def parse(...): processes HTTP 200 def parse_500(...): processes HTTP 500 ...
Executando Scrapy no PyPy
É possível executarScrapy emPyPy? Examinei a documentação e o projeto github, mas o único lugar ondePyPy mencionado é que havia alguns testes de unidade sendo executados emPyPy Há 2 anos, vejaPyPy Apoio, ...
Scrapy fornece URLError: <erro de urlopen expirado>
Então, eu tenho um programa que estou tentando decolar, mas não consigo executar meu código, ele sempre sai com o erro abaixo. Ainda posso visitar o site usando oscrapy shell comando, então eu sei que os URLs e outras coisas funcionam. Aqui ...
Multiprocessamento de aranhas riscadas em processos paralelos
Existem várias perguntas semelhantes que eu já li no Stack Overflow. Infelizmente, perdi links de todos eles, porque meu histórico de navegação foi excluído inesperadamente. Todas as perguntas acima não puderam me ajudar. Alguns deles usaram ...
Como eu pego erros com scrapy para que eu possa fazer algo quando recebo o erro de tempo limite do usuário?
ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure. Recebo esse problema de vez em quando ao usar meu raspador. Existe uma maneira de capturar esse problema e executar uma função quando isso acontecer? Não consigo ...