Raspando fórum protegido por senha em r
Estou com um problema ao fazer login no meu script. Apesar de todas as outras boas respostas que encontrei no stackoverflow, nenhuma das soluções funcionou para mim.
Estou criando um fórum da web para minha pesquisa de doutorado, seu URL éhttp://forum.axishistory.com.
A página da Web que eu quero raspar é a lista de membros - uma página que lista os links para todos os perfis de membros. Só é possível acessar a lista de membros se estiver logado. Se você tentar acessar a lista de membros sem fazer login, ele mostrará o formulário de login.
A URL da lista de membros é esta:http://forum.axishistory.com/memberlist.php.
Eu tentei o pacote httr:
library(httr)
members <- GET("http://forum.axishistory.com/memberlist.php", authenticate("username", "password"))
members_html <- html(members)
A saída é o formulário de logon.
Então eu tentei o RCurl:
library(RCurl)
members_html <- htmlParse(getURL("http://forum.axishistory.com/memberlist.php", userpwd = "username:password"))
members_html
A saída é o formulário de logon - novamente.
Então eu tentei a função list () deste tópico -Raspe o site protegido por senha em R :
handle <- handle("http://forum.axishistory.com/")
path <- "ucp.php?mode=login"
login <- list(
amember_login = "username"
,amember_pass = "password"
,amember_redirect_url =
"http://forum.axishistory.com/memberlist.php"
)
response <- POST(handle = handle, path = path, body = login)
e de novo! A saída é o formulário de logon.
A próxima coisa em que estou trabalhando é o RSelenium, mas depois de todas essas tentativas, estou tentando descobrir se provavelmente estou perdendo alguma coisa (provavelmente algo completamente óbvio).
Eu olhei para outras postagens relevantes aqui, mas não consegui descobrir como aplicar o código ao meu caso:
Como usar o R para baixar um arquivo compactado de uma página SSL que requer cookies
Raspe o site protegido por senha em R
Como usar o R para baixar um arquivo compactado de uma página SSL que requer cookies
https://stackoverflow.com/questions/27485311/scrape-password-protected-https-website-in-r