Scraping passwortgeschütztes Forum in r
Ich habe ein Problem mit der Anmeldung in meinem Skript. Trotz aller anderen guten Antworten, die ich auf stackoverflow gefunden habe, hat keine der Lösungen für mich funktioniert.
Ich stöbere in einem Webforum für meine Doktorarbeit. Die URL lautethttp: //forum.axishistory.co.
Die Webseite, die ich scrappen möchte, ist die Mitgliederliste - eine Seite, auf der die Links zu allen Mitgliederprofilen aufgelistet sind. Auf die Mitgliederliste kann nur zugegriffen werden, wenn sie angemeldet ist. Wenn Sie versuchen, auf die Mitgliederliste zuzugreifen, ohne sich anzumelden, wird das Anmeldeformular angezeigt.
Die URL der Mitgliederliste lautet:http: //forum.axishistory.com/memberlist.ph.
Ich habe das httr-Paket ausprobiert:
library(httr)
members <- GET("http://forum.axishistory.com/memberlist.php", authenticate("username", "password"))
members_html <- html(members)
Die Ausgabe ist das Anmeldeformular.
Dann habe ich versucht RCurl:
library(RCurl)
members_html <- htmlParse(getURL("http://forum.axishistory.com/memberlist.php", userpwd = "username:password"))
members_html
Die Ausgabe ist wieder das Anmeldeformular.
Dann habe ich die list () - Funktion aus diesem Thema ausprobiert -Scrape passwortgeschützte Website in R :
handle <- handle("http://forum.axishistory.com/")
path <- "ucp.php?mode=login"
login <- list(
amember_login = "username"
,amember_pass = "password"
,amember_redirect_url =
"http://forum.axishistory.com/memberlist.php"
)
response <- POST(handle = handle, path = path, body = login)
und wieder! Die Ausgabe ist das Anmeldeformular.
Das nächste, woran ich arbeite, ist RSelenium, aber nach all diesen Versuchen versuche ich herauszufinden, ob mir wahrscheinlich etwas fehlt (wahrscheinlich etwas, das völlig offensichtlich ist).
Ich habe mir andere relevante Beiträge hier angesehen, konnte aber nicht herausfinden, wie ich den Code auf meinen Fall anwenden kann:
Scrape passwortgeschützte Website in R
https: //stackoverflow.com/questions/27485311/scrape-password-protected-https-website-in-