Resultados da pesquisa a pedido "web-scraping"
Usando o Mechanize (Python) para preencher o formulário
Desejo preencher o formulário nesta página usando o python mechanize e, em seguida, registrar a resposta. Como devo fazer isso? Quando procuro formulários nesta página usando o código a seguir, ele mostra o formulário apenas para a pesquisa. Como ...
Scrapy CrawlSpider não está seguindo os links de uma página específica
Eu criei uma aranha para rastrear um fórum que requer um login. Começo na página de login. O problema ocorre com a página para a qual direciono a aranha após o logon ter sido bem-sucedido. Se eu abrir minhas regras para aceitar todos os links, o ...
Eliminar o símbolo% ao usar o raspador Selenium (Python)
Abaixo está um raspador de selênio na web que percorre as diferentes guias da página deste site ...
Como posso obter todo o texto sem formatação de um site com o Scrapy?
Gostaria de ter todo o texto visível de um site, depois que o HTML for renderizado. Estou trabalhando em Python com framework Scrapy. Comxpath('//body//text()') Sou capaz de obtê-lo, mas com as tags HTML e quero apenas o texto. Alguma solução ...
Como usar o readHTMLTable sem cortar a primeira linha
Esta é a mesa [http://www.nfl.com/stats/categorystats?archive=false&conference=null&statisticPositionCategory=FIELD_GOAL_KICKER&season=2013&seasonType=REG&experience=&tabSeq=1&qualified=false&Submit=Go] Estou tentando raspar do online para o R O ...
Detectar quando uma página da web é carregada sem usar suspensão
Estou criando um script VB no Windows que abre um site no IE. O que eu quero: Detectar quando a página da web é carregada e exibir uma mensagem. Consegui isso usando o sono (WScript.Sleep) por aprox. segundos quando o site é carregado. ...
raspar tabela HTML com várias páginas usando R
Estou tentando criar um quadro de dados raspando a partir da web. Mas há várias páginas que compõem a tabela que estou tentando raspar. mesmo link, mas a página é diferente. para a primeira página, é assim que eu rasparia: library(XML) ...
Aguarde até o IE carregar
Existe uma maneira infalível de o script esperar até que o Internet Explorer seja completamente carregado? AmbosoIE.Busy e / ouoIE.ReadyState não estão funcionando da maneira que deveriam: Set oIE = CreateObject("InternetE,xplorer.application") ...
CasperJS loop ou iterar através de várias páginas da web?
Eu tenho um script CasperJS que raspa classificações e datas de uma página da web. Agora eu quero raspar os mesmos dados de várias páginas no mesmo site. Como posso percorrer as diferentes subpáginas, com este código: var ratings = []; var dates ...
NoClassDefFoundError: org / apache / http / HttpEntity no Selenium para ChromeDriver?
estou tentando buscar dados de um site usando a automação Selenium quando estou tentando acessar dados desse site, estou recebendo a seguinte exceção run: Starting ChromeDriver (v2.9.248315) on port 15621 Exception in thread "main" ...