Im Moment arbeite ich an einem Webcrawler. Dieser sollte einige bestimmte Sites analysieren und mir eine Ausgabe in eine XML-Datei geben. Bis zu diesem Punkt ist es kein Problem. Der Crawler funktioniert und Sie können ihn sehr schnell über eine cfg-Datei anpassen. Ich benutze Jsoup, um den HTML-Inhalt zu analysieren.

Ich habe gerade ein paar weitere Sites hinzugefügt und festgestellt, dass ich ein großes Problem mit HTML-Inhalten habe, die über JavaScript erstellt werden. Gibt es keine Möglichkeit, Jsoup dazu zu bringen, Javascript zu unterstützen? Oder zumindest den vollständigen HTML-Inhalt, den ich in meinem Browser sehen kann.

Ich habe HtmlUnit bereits ausprobiert, aber dieses hat nicht gut funktioniert. Es gab mir nicht den Inhalt, den ich in meinem Browser bekommen würde.

Mit freundlichen Grüßen

Ogofo