Resultados da pesquisa a pedido "web-scraping"
Raspando conteúdo dinâmico usando python-Scrapy
Isenção de responsabilidade: eu já vi várias outras postagens semelhantes no StackOverflow e tentei fazê-lo da mesma maneira, mas elas não parecem funcionar neste site. Estou usando o Python-Scrapy para obter dados do koovs.com. No entanto, não ...
Erro ao gravar dados no CSV devido a erro ascii em Python
import requests from bs4 import BeautifulSoup import csv from urlparse import urljoin import urllib2 base_url = 'http://www.baseball-reference.com' data = requests.get("http://www.baseball-reference.com/teams/BAL/2014-schedule-scores.shtml") soup ...
Raspador da Web para formulários dinâmicos em python
Estou tentando preencher o formulário deste site http://www.marutisuzuki.com/Maruti-Price.aspx [http://www.marutisuzuki.com/Maruti-Price.aspx]. Consiste em três listas suspensas. Um é o modelo do carro, o segundo é o estado e o terceiro é a ...
Scrapy: captura respostas com códigos de servidor HTTP específicos
Temos um projeto Scrapy padrão (Scrapy 0.24). Gostaria de pegar códigos de resposta HTTP específicos, como 200, 500, 502, 503, 504 etc. Algo parecido: class Spider(...): def parse(...): processes HTTP 200 def parse_500(...): processes HTTP 500 ...
obter o atributo div val e o corpo do texto div
Aqui está um código pequeno para obter o valor de atributo div. Todos os nomes div são iguais com o mesmo nome attr. redditFile = urllib2.urlopen("http://www.bing.com/videos?q=owl") redditHtml = redditFile.read() redditFile.close() soup = ...
Usando AutoIT com Selenium
Obrigado por responder à minha pergunta anterior, mas, como uma é resolvida, outra é encontrada aparentemente. Interagir com o próprio jogo em flash agora é o problema. Eu tentei pesquisar como fazê-lo no Selenium, mas isso não pode ser feito. ...
Nokogiri pode interpretar javascript? - Raspagem da web
Estamos tentando reduzir as disponibilidades nesta ...
Xamarin: Como obter HTML da página no WebView? [fechadas]
Xamarin: Como obter HTML da página no WebView? Desenvolvo o Xamarin App para iOS e estou usando o WebView. Apenas para obter o HTML da página, eu uso o seguinte código. WebClient wc = new WebClient(); using (Stream st ...
Como alterar a versão do PhantomJS
Estou aprendendo PhantomJS para raspagem. Comecei a incorporar o CasperJS. Quando executo o CasperJS e o nome do arquivo, volto CasperJS needs PhantomJS v1.xComo você altera a versão do PhantomJS para usar o CasperJS? Existe uma maneira mais ...
graph.facebook.com/username não funciona
Tentei obter detalhes do usuário usandohttps://graph.facebook.com/username [https://graph.facebook.com/username]. Mas isso gera um erro "error": { "message": "(#803) Cannot query users by their username (ramesh.randika.56)", "type": ...