Was ist ein gutes Tool zum Screen-Scrape mit Javascript-Unterstützung? [geschlossen]

Gibt es eine gute Testsuite oder ein Tool-Set, mit dem die Website-Navigation - mit Javascript-Unterstützung - automatisiert und das HTML von den Seiten gesa...

Scrape Webseiten mit unendlichem Scrolling

Ich habe viele Scraper geschrieben, bin mir aber nicht sicher, wie ich mit unendlichen Scrollern umgehen soll. In diesen Tagen hat die meisten Website usw., ...

Mach ** schnell ** Screenshots von Python

A

PHP - schnellste Weg, um das Vorhandensein von Text in vielen Domänen zu überprüfen (über 1000)

Ich habe ein PHP-Skript ausgeführt und verwende cURL, um den Inhalt von Webseiten abzurufen, auf denen ich das Vorhandensein von Text überprüfen möchte.Im Mo...

Python-WWW-Makro

Firefox kann in Python auf einem AWS-Computer nicht über Selen aufgerufen werden

Ich versuche, Selen aus Python zu verwenden, um einige dynamische Seiten mit Javascript zu kratzen. Ich kann Firefox jedoch nicht anrufen, nachdem ich die An...

Generierte Quelle (nach AJAX / JavaScript) in C # anzeigen

Gibt es eine Möglichkeit, die generierte Quelle einer Webseite (den Code, nachdem alle AJAX-Aufrufe und JavaScript-DOM-Manipulationen stattgefunden haben) in...

Lesen und Veröffentlichen auf Webseiten mit C #

Was ist der beste Weg, um eine Webseite in Ruby zu analysieren?

Ich habe mir XML- und HTML-Bibliotheken auf rubyforge angesehen, um eine einfache Möglichkeit zum Abrufen von Daten aus einer Webseite zu finden. Wenn ich zu...

OpenUri verursacht 401 nicht autorisierten Fehler mit HTTPS-URL

Ich füge Funktionen hinzu, die eine XML-Seite aus einer Quelle entfernen, für die eine HTTPS-Verbindung mit Authentifizierung erforderlich ist. Ich versuche,...