Resultados da pesquisa a pedido "scrapy"
Como limpar cookies no scrapy?
Por padrão, scrapy armazena e passa cookies ao longo de solicitações. Mas como faço para acessar ou limpar os cookies armazenados em determinado ponto da aranha? Obrigado?
Como ativar a exibição de zero para bloquear no Scrapy?
Estou tentando raspar dados em um menu suspenso (aqui está ...
Como as regras Scrapy funcionam com o crawl spider
Tenho dificuldade em entender as regras das aranhas rastejantes. Eu tenho um exemplo que não funciona como eu gostaria, então pode ser duas coisas: Não entendo como as regras funcionam.Formei uma expressão regular incorreta que me impede de ...
Executar uma aranha Scrapy em uma tarefa de aipo
Isso não está mais funcionando [https://stackoverflow.com/a/11657239/560659], a API do scrapy mudou. Agora a documentação apresenta uma maneira de "Executar Scrapy a partir de ...
Scrapy CrawlSpider não está seguindo os links de uma página específica
Eu criei uma aranha para rastrear um fórum que requer um login. Começo na página de login. O problema ocorre com a página para a qual direciono a aranha após o logon ter sido bem-sucedido. Se eu abrir minhas regras para aceitar todos os links, o ...
Windows scrapyd-deploy não é reconhecido
Eu instalei o scrapyd assim pip install scrapydEu quero usar o scrapyd-deploy quando digito scrapyd Eu tenho essa exceção no cmd: 'scrapyd' não é reconhecido como um comando interno ou externo, programa operável ou arquivo em lote.
Como posso obter todo o texto sem formatação de um site com o Scrapy?
Gostaria de ter todo o texto visível de um site, depois que o HTML for renderizado. Estou trabalhando em Python com framework Scrapy. Comxpath('//body//text()') Sou capaz de obtê-lo, mas com as tags HTML e quero apenas o texto. Alguma solução ...
Encerrar Scrapy se uma condição for atendida
Eu escrevi um raspador usando scrapy em python. Ele contém 100 start_urls. Desejo encerrar o processo de raspagem assim que uma condição for atendida. isto é, encerrar a raspagem de uma determinada div. Ao encerrar, quero dizer que ele deve ...
lista de retorno do carregador de itens não rasos, sem valor único
Estou usando 0,20 scrapy. Eu quero usar o carregador de itens este é o meu código: l = XPathItemLoader(item=MyItemClass(), response=response) l.add_value('url', response.url) l.add_xpath('title',"my xpath") l.add_xpath('developer', "my xpath") ...
raspar várias páginas com raspar
Estou tentando usar o scrapy para raspar um site que tenha várias páginas de informações. meu código é: from scrapy.spider import BaseSpider from scrapy.selector import Selector from tcgplayer1.items import Tcgplayer1Item class ...