Resultados da pesquisa a pedido "scrapy"

2 a resposta

Modificando a exportação de CSV em scrapy

Parece que estou perdendo algo muito simples. Tudo o que eu quero fazer é usar; como delimitador no exportador de CSV em vez de,. Eu sei que o exportador de CSV passa kwargs para o escritor csv, mas não consigo descobrir como passar isso no ...

1 a resposta

Scrapy: como usar itens no spider e como enviar itens para pipelines?

Eu sou novo emscrapy e minha tarefa é simples: Para um determinado site de comércio eletrônico: rastrear todas as páginas do site procure a página de produtos Se o URL apontar para uma página de produto Criar um item Processe o item para ...

2 a resposta

como processar todos os tipos de exceção em um projeto escasso, em errback e callback?

5 a resposta

Como posso extrair apenas texto no seletor de escória em python

Eu tenho esse codigo

2 a resposta

Verificando um URL por um erro 404 escasso

Estou passando por um conjunto de páginas e não tenho certeza de quantas são, mas a página atual é representada por um número simples presente no URL (por ex...

10 a resposta

Scrapy URLs de rastreamento no pedido

Então, meu problema é relativamente simples. Eu tenho uma aranha rastreando vários sites e preciso que ela retorne os dados na ordem em que escrevo no meu código. Está publicado abaixo. from scrapy.spider import BaseSpider from scrapy.selector ...

2 a resposta

Como criar um índice pg_trgm usando SQLAlchemy for Scrapy?

Estou usando o Scrapy para coletar dados de um fórum da web. Estou armazenando esses dados em um banco de dados PostgreSQL usando SQLAlchemy. A tabela e as colunas criam bem, no entanto, não é possível que o SQLAlchemy crie um índice em uma das ...

4 a resposta

Correndo localmente todas as aranhas no Scrapy

Existe uma maneira de executar todas as aranhas em um projeto Scrapy sem usar o daemon Scrapy? Costumava haver uma maneira de executar várias aranhas com

2 a resposta

Sites dinâmicos assustadores do Python

Estou tentando raspar uma página da Web muito simples com a ajuda do Scrapy e seus seletores de xpath, mas por alguma razão os seletores que eu tenho não funcionam no Scrapy, mas eles funcionam em outros utilitários do xpath Estou tentando ...

1 a resposta

Encerrar Scrapy se uma condição for atendida

Eu escrevi um raspador usando scrapy em python. Ele contém 100 start_urls. Desejo encerrar o processo de raspagem assim que uma condição for atendida. isto é, encerrar a raspagem de uma determinada div. Ao encerrar, quero dizer que ele deve ...