Зачистка защищенного паролем форума в т
У меня проблема со входом в мой скрипт. Несмотря на все другие хорошие ответы, которые я нашел в stackoverflow, ни одно из решений не помогло мне.
Я зачищаю веб-форум для своего исследования доктора философии, его URLhttp://forum.axishistory.com.
Веб-страница, которую я хочу почистить, - это список участников - страница, на которой перечислены ссылки на все профили участников. Получить доступ к списку участников можно только в том случае, если вы вошли в систему. Если вы попытаетесь получить доступ к списку участников без входа в систему, отобразится форма входа.
URL списка участников таков:http://forum.axishistory.com/memberlist.php.
Я попробовал httr-пакет:
library(httr)
members <- GET("http://forum.axishistory.com/memberlist.php", authenticate("username", "password"))
members_html <- html(members)
Результатом является форма входа в систему.
Тогда я попробовал RCurl:
library(RCurl)
members_html <- htmlParse(getURL("http://forum.axishistory.com/memberlist.php", userpwd = "username:password"))
members_html
Вывод в форме журнала - снова.
Затем я попробовал функцию list () из этой темы -Очистить защищенный паролем сайт в R :
handle <- handle("http://forum.axishistory.com/")
path <- "ucp.php?mode=login"
login <- list(
amember_login = "username"
,amember_pass = "password"
,amember_redirect_url =
"http://forum.axishistory.com/memberlist.php"
)
response <- POST(handle = handle, path = path, body = login)
и опять! Результатом является форма входа в систему.
Следующая вещь, над которой я работаю, это RSelenium, но после всех этих попыток я пытаюсь выяснить, не упускаю ли я что-то (возможно, что-то совершенно очевидное).
Я просмотрел другие соответствующие посты здесь, но не смог понять, как применить код к моему делу:
Как использовать R для загрузки ZIP-файла со страницы SSL, для которой требуются файлы cookie
Очистить защищенный паролем сайт в R
Как использовать R для загрузки ZIP-файла со страницы SSL, для которой требуются файлы cookie
https://stackoverflow.com/questions/27485311/scrape-password-protected-https-website-in-r