Scrapy, raspando dados dentro de um Javascript

Navegador Python Programático com JavaScript

Uma solicitação HTTP baseada em cURL pode imitar completamente uma solicitação baseada em navegador?

Excluindo resultados indesejados de findAll usando BeautifulSoup

Raspar no site usando jquery e ajax

Eu quero ser capaz de manipular o html de um determinado URL. Algo como html scraping. Eu sei que isso pode ser feito usando curl ou alguma biblioteca de ras...

Existe um equivalente em PHP da WWW :: Mechanize do Perl?

Estou à procura de uma biblioteca que tenha uma funcionalidade semelhante à do PerlWWW :: Mecanizar, mas para PHP. Basicamente, ele deve permitir que eu envi...

Como posso pegar CData fora de BeautifulSoup

Eu tenho um site que estou raspando que tem uma estrutura semelhante ao seguinte. Eu gostaria de poder pegar as informações do bloco CData.Estou usando o Bea...

Proteção contra raspagem de tela [fechada]

Na sequência da minha pergunta sobre oLegalidades da raspagem de tela [https://stackoverflow.com/questions/396778/legalities-of-screen-scraping], mesmo que seja ilegal, as pessoas ainda tentarão: Quais mecanismos técnicos podem ser empregados ...

Como ler o fórum de outra pessoa

Solução de plataforma cruzada para automatizar sessões de telnet do tipo ncurses

fundoParte do meu trabalho em rede e telecomunicações envolve a automação de sessões de telnet quando o hardware legado não oferece soluções fáceis em outras...