Resultados da pesquisa a pedido "scrapy"
Modificando a exportação de CSV em scrapy
Parece que estou perdendo algo muito simples. Tudo o que eu quero fazer é usar; como delimitador no exportador de CSV em vez de,. Eu sei que o exportador de CSV passa kwargs para o escritor csv, mas não consigo descobrir como passar isso no ...
Scrapy: como usar itens no spider e como enviar itens para pipelines?
Eu sou novo emscrapy e minha tarefa é simples: Para um determinado site de comércio eletrônico: rastrear todas as páginas do site procure a página de produtos Se o URL apontar para uma página de produto Criar um item Processe o item para ...
Como posso extrair apenas texto no seletor de escória em python
Eu tenho esse codigo
Verificando um URL por um erro 404 escasso
Estou passando por um conjunto de páginas e não tenho certeza de quantas são, mas a página atual é representada por um número simples presente no URL (por ex...
Scrapy URLs de rastreamento no pedido
Então, meu problema é relativamente simples. Eu tenho uma aranha rastreando vários sites e preciso que ela retorne os dados na ordem em que escrevo no meu código. Está publicado abaixo. from scrapy.spider import BaseSpider from scrapy.selector ...
Como criar um índice pg_trgm usando SQLAlchemy for Scrapy?
Estou usando o Scrapy para coletar dados de um fórum da web. Estou armazenando esses dados em um banco de dados PostgreSQL usando SQLAlchemy. A tabela e as colunas criam bem, no entanto, não é possível que o SQLAlchemy crie um índice em uma das ...
Correndo localmente todas as aranhas no Scrapy
Existe uma maneira de executar todas as aranhas em um projeto Scrapy sem usar o daemon Scrapy? Costumava haver uma maneira de executar várias aranhas com
Sites dinâmicos assustadores do Python
Estou tentando raspar uma página da Web muito simples com a ajuda do Scrapy e seus seletores de xpath, mas por alguma razão os seletores que eu tenho não funcionam no Scrapy, mas eles funcionam em outros utilitários do xpath Estou tentando ...
Encerrar Scrapy se uma condição for atendida
Eu escrevi um raspador usando scrapy em python. Ele contém 100 start_urls. Desejo encerrar o processo de raspagem assim que uma condição for atendida. isto é, encerrar a raspagem de uma determinada div. Ao encerrar, quero dizer que ele deve ...