Resultados da pesquisa a pedido "scrapy"
cl.exe 'falhou: Não existe esse arquivo ou diretório ao instalar o Scrapy
Estou tentando instalar a estrutura Scrapy. Depois de instalar todas as bibliotecas dependentes e começar a instalar o arquivo setup.py, recebo a seguinte mensagem de erro: "cl.exe 'falhou: esse arquivo ou diretório não existe" Estou trabalhando ...
Como rastrear milhares de páginas usando scrapy?
Estou olhando para rastrear milhares de páginas e preciso de uma solução. Todo site tem seu próprio código html - todos eles são sites únicos. Nenhum feed de dados ou API limpo está disponível. Espero carregar os dados capturados em algum tipo de ...
Não é possível se livrar de linhas em branco na saída csv
Eu escrevi um script muito pequeno em python scrapy para analisar o nome, a rua e o número de telefone exibidos em várias páginas do site da página amarela. Quando executo meu script, acho que ele funciona sem problemas. No entanto, o único ...
como selecionar e extrair textos entre dois elementos?
Estou tentando rasparesta [http://www.imdb.com/title/tt0092455/trivia?tab=mc&ref_=tt_trv_cnn]site usando scrapy. A estrutura da página fica assim: <div class="list"> <a id="follows" name="follows"></a> <h4 class="li_group">Follows</h4> <div ...
ReactorNotRestartable - Torcido e arranhado
Antes de me vincular a outras respostas relacionadas a isso, observe que eu as li e ainda estou um pouco confuso. Tudo bem, aqui vamos nós. Então, eu estou criando um webapp no Django. Estou importando a mais recente biblioteca de scrapy para ...
Como posso exportar dados raspados para um arquivo csv no formato certo?
Fiz uma melhoria no meu código de acordo comesta [https://stackoverflow.com/a/45958106/8476752]sugestão de @paultrmbrth. o que eu preciso é raspar dados de páginas semelhantes ...
usando proxy com scrapy-splash
Estou tentando usar proxy (proxymesh) ao lado de scrapy-splash. Eu tenho o seguinte código (relevante) PROXY = """splash:on_request(function(request) request:set_proxy{ host = http://us-ny.proxymesh.com, port = 31280, username = username, ...
scrapy json produz todos os itens em uma linha
Estou tentando fazer com que minha saída fique com a seguinte no formato json. {"loser": "De Schepper K." ,"winner": "Herbert P.", "url": "https://www.sofascore.com/tennis/2018-02-07"}No momento, estou recebendo linhas individuais para cada item ...
Raspe várias solicitações e preencha um único item
Preciso fazer 2 solicitações para diferentes URLs e colocar essas informações no mesmo item. Eu tentei esse método, mas o resultado é escrito em linhas diferentes. Os retornos de chamadaretorna item. Eu tentei muitos métodos, mas nenhum parece ...
Scrapy - como gerenciar cookies / sessões
Estou um pouco confuso sobre como os cookies funcionam com o Scrapy e como você os gerencia. Esta é basicamente uma versão simplificada do que estou tentando fazer: Como o site funciona:Quando você visita o site, recebe um cookie de ...