¿Cómo hacer un webscrap de páginas seguras en R (enlaces https) (usando readHTMLTable del paquete XML)?
Hay buenas respuestas en SO sobre cómo usar readHTMLTable del paquete XML y lo hice con páginas http normales, sin embargo no puedo resolver mi problema con las páginas https.
Estoy tratando de leer la tabla en este sitio web (cadena url):
library(RTidyHTML)
library(XML)
url <- "https://ned.nih.gov/search/ViewDetails.aspx?NIHID=0010121048"
h = htmlParse(url)
tables <- readHTMLTable(url)
Pero me sale este error: Archivohttps://ned.nih.gov/search/Vi...does no existe.
Traté de superar el problema https con esto (primeras 2 líneas a continuación) (por usar google para encontrar una solución (como aquí:http://tonybreyal.wordpress.com/2012/01/13/r-a-quick-scrape-of-top-grossing-films-from-boxofficemojo-com/).
Este truco ayuda a ver más de la página, pero cualquier intento de extraer la tabla no está funcionando. Cualquier consejo apreciado. Necesito los campos de la tabla como Organización, Título de la organización, Administrador.
#attempt to get past the https problem
raw <- getURL(url, followlocation = TRUE, cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl"))
head(raw)
[1] "\r\n<!DOCTYPE html PUBLIC \"-//W3C//DTD XHTML 1.0 Transitional//EN\" \"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd\">\n<html xmlns=\"http://www.w3.org/1999/xhtml\" xml:lang=\"en\" lang=\"en\">\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html;
...
h = htmlParse(raw)
Error in htmlParse(raw) : File ...
tables <- readHTMLTable(raw)
Error in htmlParse(doc) : File ...