Resultados da pesquisa a pedido "scrapy"
do erro do seletor de importação scrapy.selector
Não consigo fazer o seguinte: from scrapy.selector import SelectorO erro é: O arquivo "/Desktop/KSL/KSL/spiders/spider.py", linha 1, de scrapy.selector import Selector ImportError: não é possível importar o nome Selector É como se o LXML não ...
Como posso usar o atributo fields_to_export no BaseItemExporter para solicitar meus dados Scrapy CSV?
Eu fiz uma simplesScrapy [http://doc.scrapy.org/en/latest/index.html]spider que eu uso na linha de comando para exportar meus dados para o formato CSV, mas a ordem dos dados parece aleatória. Como posso solicitar os campos CSV na minha saída? Eu ...
Configurando o middleware do proxy Scrapy para girar em cada solicitação
Essa pergunta necessariamente vem de duas formas, porque não conheço o melhor caminho para uma solução. Um site que estou rastreando leva-me a uma página redirecionada "bloqueada pelo usuário" com frequência, mas a frequência (por solicitações / ...
Repetir repetidamente ou redirecionar o middleware
Ao rastrear um site com scrapy, sou redirecionado para uma página bloqueada pelo usuário cerca de 1/5 do tempo. Perco as páginas que são redirecionadasde quando isso acontecer Não sei qual middleware usar ou quais configurações usar ...
Scrapy Spider para resposta JSON
Estou tentando escrever uma aranha que rastreie a seguinte resposta JSON: http://gdata.youtube.com/feeds/api/standardfeeds/UK/most_popular?v=2&alt=json [http://gdata.youtube.com/feeds/api/standardfeeds/UK/most_popular?v=2&alt=json] Como ficaria ...
Esquema ausente no URL da solicitação
Estou com esse bug há um tempo, a seguinte mensagem de erro é a seguinte: File "C:\Python27\lib\site-packages\scrapy-0.20.2-py2.7.egg\scrapy\http\request\__init__.py", line 61, in _set_url raise ValueError('Missing scheme in request url: %s' ...
Sites dinâmicos assustadores do Python
Estou tentando raspar uma página da Web muito simples com a ajuda do Scrapy e seus seletores de xpath, mas por alguma razão os seletores que eu tenho não funcionam no Scrapy, mas eles funcionam em outros utilitários do xpath Estou tentando ...
Análise intensiva da CPU com scrapy
A seção CONCURRENT_ITEMS em http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-items [http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-items]define como: Número máximo de itens simultâneos (por resposta) a serem ...
Como recuperar automaticamente chamadas de URL AJAX para?
O objetivo é programar um rastreador capaz de: 1) Recupere o URL dos links que estão na tabela desta página: http://cordis.europa.eu/fp7/security/projects_en.html [http://cordis.europa.eu/fp7/security/projects_en.html] 2) Siga a chamada AJAX de ...
Como usar o PyCharm para depurar projetos Scrapy
Estou trabalhando no Scrapy 0.20 com Python 2.7. Eu descobri que o PyCharm tem um bom depurador Python. Quero testar minhas aranhas Scrapy usando-o. Alguém sabe como fazer isso, por favor? O que eu tenteiNa verdade, tentei executar a aranha como ...