Como executar o teste de fumaça na Web viável com o Selenium WebDriver?

Tenho pesquisado sobre o teste de carregamento de páginas da Web mais rápido e viável comSelenium. Uma idéia geral do teste de fumaça é clicar e navegar por todo o site para garantir que as páginas sejam carregadas corretamente. Eu estava ...

Como renderizar o conteúdo de uma tag em unicode no BeautifulSou

Esta é uma sopa de uma página de detalhes da postagem do WordPress: content = soup.body.find('div', id=re.compile('post')) title = content.h2.extract() item['title'] = unicode(title.string) item['content'] = u''.join(map(unicode, ...

Qual é a melhor maneira de analisar uma página da Web em Ruby?

Eu tenho procurado em bibliotecas XML e HTML no rubyforge para uma maneira simples de extrair dados de uma página web. Por exemplo, se eu quiser analisar uma...

Mecanizar para Python 3.x

existe alguma maneira de usar o mecanizar com Python 3.x? Ou existe algum substituto que funcione no Python 3.x? Estou procurando há horas, mas não encontrei nada :( Estou procurando uma maneira de acessar o site com Python, mas o site ...

Raspagem da Web com Python

Gostaria de pegar os horários diários do nascer e do pôr do sol em um site. É possível copiar conteúdo da Web com Python? quais são os módulos usados? Existe algum tutorial disponível?

O que é uma boa ferramenta para raspar a tela com suporte a Javascript? [fechadas]

escrevendo e salvando arquivo CSV a partir da raspagem de dados usando python e Beautifulsoup4

Estou tentando extrair dados do site PGA.com para obter uma tabela de todos os campos de golfe nos Estados Unidos. Na minha tabela CSV, quero incluir o nome do campo de golfe, endereço, propriedade, site e número de telefone. Com esses dados, ...

Etiqueta de raspagem na Web [fechada]

Estou pensando em escrever um aplicativo de raspagem da Web simples para extrair informações de um site que parece não proibir isso especificamente. Eu verifiquei outras alternativas (por exemplo, RSS, serviço da web) para obter essas ...

Raspar site com solicitação XML HTTP com Excel VBA: aguarde o carregamento completo da página

Estou tentando reduzir o preço de um produto de uma página da Web usando o Excel VBA. O código a seguir está funcionando ao usar a solicitação de navegação do VBA Internet Explorer. No entanto, eu gostaria de usar uma solicitação HTTP XML para ...

Expressão regular Python para análise de HTML (BeautifulSoup)

Eu quero pegar o valor de um campo de entrada oculto em HTM <input type="hidden" name="fooId" value="12-3456789-1111111111" />Eu quero escrever uma expressão regular em Python que retorne o valor defooId, já que sei que a linha no HTML segue o ...