Resultados da pesquisa a pedido "screen-scraping"
Raspar site com solicitação XML HTTP com Excel VBA: aguarde o carregamento completo da página
Estou tentando reduzir o preço de um produto de uma página da Web usando o Excel VBA. O código a seguir está funcionando ao usar a solicitação de navegação do VBA Internet Explorer. No entanto, eu gostaria de usar uma solicitação HTTP XML para ...
Obter seguidores no Instagram
Quero analisar os seguidores de um site com a BeautifulSoup. Isto é o que eu tenho até agora: username_extract = 'lazada_my' url = 'https://www.instagram.com/'+ username_extract r = requests.get(url) soup = BeautifulSoup(r.content,'lxml') f = ...
Raspagem na web de supermercados na Argentina
Estou tentando extrair dados do site: https://www.disco.com.ar/Comprar/Home.aspx#_atCategory=false&_atGrilla=true&_id=21063 [https://www.disco.com.ar/Comprar/Home.aspx#_atCategory=false&_atGrilla=true&_id=21063] através de uma macroExcel 2013, ...
Subpáginas BeautifulSoup da lista com paginação "carregar mais"
Muito novo aqui, então peço desculpas antecipadamente. Estou procurando obter uma lista de todas as descrições de empresas dehttps://angel.co/companies [https://angel.co/companies]para brincar. As ferramentas de análise baseadas na Web que eu ...
Alternativas ao Selenium / Webdriver para preencher campos ao raspar sem cabeça com Python?
Com Python 2.7 eu estou raspando comurllib2e quando algum Xpath é necessário, lxmltambém. Estávelozes, e como raramente preciso navegar pelos sites, essa combinação funciona bem. Na ocasião, geralmente, quando chego a uma página que exibe apenas ...
escrevendo e salvando arquivo CSV a partir da raspagem de dados usando python e Beautifulsoup4
Estou tentando extrair dados do site PGA.com para obter uma tabela de todos os campos de golfe nos Estados Unidos. Na minha tabela CSV, quero incluir o nome do campo de golfe, endereço, propriedade, site e número de telefone. Com esses dados, ...
Como executar o teste de fumaça na Web viável com o Selenium WebDriver?
Tenho pesquisado sobre o teste de carregamento de páginas da Web mais rápido e viável comSelenium. Uma idéia geral do teste de fumaça é clicar e navegar por todo o site para garantir que as páginas sejam carregadas corretamente. Eu estava ...
Raspando dados do Silverlight Control no navegador
Uso os aplicativos VBA e WPF do Excel para coletar dados de vários sites e tudo correu bem. Mas agora encontrei algo que não consigo superar. O site está exibindo seus dados em um controle do Silverlight: <OBJECT width="100%" height=400 ...
Tirando screenshots confiáveis de sites? Phantomjs e Casperjs retornam capturas de tela vazias em alguns sites
Abra uma página da web e faça uma captura de tela. Usando ONLY phantomjs: (este é um script simples, na verdade, é o exemplo de script usado em seus ...
Raspando os resultados da página inicial do Google com php
eu posso com o código php Raspando título e URL dos resultados de pesquisa do Google agora como obter descrições $url = 'http://www.google.com/search?hl=en&safe=active&tbo=d&site=&source=hp&q=Beautiful+Bangladesh&oq=Beautiful+Bangladesh'; $html ...