Resultados da pesquisa a pedido "screen-scraping"
Alternativas ao Selenium / Webdriver para preencher campos ao raspar sem cabeça com Python?
Com Python 2.7 eu estou raspando comurllib2e quando algum Xpath é necessário, lxmltambém. Estávelozes, e como raramente preciso navegar pelos sites, essa combinação funciona bem. Na ocasião, geralmente, quando chego a uma página que exibe apenas ...
Não foi possível carregar a página ASP.NET usando o Python urllib2
Estou tentando fazer uma solicitação POST parahttps: //www.paoilandgasreporting.state.pa.us/publicreports/Modules/WellDetails/WellDetails.asp [https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/WellDetails/WellDetails.aspx] para ...
Qual é a maneira mais elegante de fazer a raspagem de tela no node.js?
Estou no processo de hackear um aplicativo da web que usa uma extensa captura de tela no node.js. Sinto que estou lutando contra a corrente em cada esquina. Deve haver uma maneira mais fácil de fazer isso. Mais notavelmente, duas coisas são ...
Expressão regular Python para análise de HTML (BeautifulSoup)
Eu quero pegar o valor de um campo de entrada oculto em HTM <input type="hidden" name="fooId" value="12-3456789-1111111111" />Eu quero escrever uma expressão regular em Python que retorne o valor defooId, já que sei que a linha no HTML segue o ...
Tela raspando a página da Web após atraso
Estou tentando raspar uma página da Web usando C #, no entanto, depois que a página é carregada, ele executa algum javascript que carrega mais elementos no DOM que eu preciso raspar. Um raspador padrão simplesmente pega o html da página em ...
page raspagem para obter preços do google finance
Estou tentando obter preços das ações raspando as páginas de finanças do google, estou fazendo isso em python, usando o pacote urllib e depois usando o regex para obter dados de preço Quando deixo meu script python em execução, ele funciona ...
Conte o número de resultados para uma palavra específica no Twitter
Para promover um projeto pessoal meu, tenho pensado em como contar o número de resultados de uma palavra especificada pelo usuário emTwitte [http://www.twitter.com]. Eu usei sua API extensivamente, mas não consegui encontrar uma maneira eficiente ...
Raspar o conteúdo da página da web
Estou desenvolvendo um projeto, para o qual desejo raspar o conteúdo de um site em segundo plano e obter um conteúdo limitado desse site fragmentado. Por exemplo, na minha página, tenho os campos "ID do usuário" e "Senha". Usando esses, acessarei ...
Navegador sem cabeça para Python (suporte a Javascript NECESSÁRIO!) [Fechado]
Eu preciso de um navegador sem cabeça que seja bastante fácil de usar (ainda sou bastante novo no Python e na programação em geral), o que me permitirá navegar para uma página, entrar em um formulário que requer Javascript e raspar a página da ...
Como você faz login em uma página da Web e recupera seu conteúdo em C #?
Como você faz login em uma página da Web e recupera seu conteúdo em C #?