Dynamisch generiertes HTML in der Android App scrappen

Ich schreibe gerade eine Android-App, die unter anderem Textinformationen von Websites verwendet, die ich nicht besitze. Darüber hinaus erfordern einige Seiten eine Authentifizierung.

Für einige Seiten konnte ich mich mit BasicNameValuePairs und einem HTTPClient mit den zugehörigen Objekten anmelden und den HTML-Code abrufen.

Leider rufen diese Methoden die Webseitenquelle ab, ohne dass Javascript-Funktionen ausgeführt werden, die ein Browser (sogar Android Webview) normalerweise ausführen würde. Ich brauche den Text, den einige dieser Skripte abrufen.

Ich habe meine Recherchen durchgeführt, aber alles, was ich gefunden habe, ist Rätselraten und äußerst verwirrend. Ich kann Seiten ignorieren, für die momentan eine Anmeldung erforderlich ist. Außerdem bin ich bereit, jeden Code zu veröffentlichen, der zum Erstellen einer Lösung nützlich sein kann. Es ist ein eigenständiges Projekt.

Konkrete Lösungen für das Abschaben des HTML-Codes ergeben sich aus Javascript-Aufrufen? Ein Beispiel wäre absolut erstklassig.

Antworten auf die Frage(2)

Ihre Antwort auf die Frage