Cómo optimizar el raspado con getURL () en R
Estoy intentando eliminar todos los proyectos de ley de dos páginas en el sitio web de la cámara baja francesa del parlamento. Las páginas cubren 2002-2012 y representan menos de 1,000 billetes cada una.
Para esto, raspo congetURL
a través de este bucle:
<code>b <- "http://www.assemblee-nationale.fr" # base l <- c("12","13") # legislature id lapply(l, FUN = function(x) { print(data <- paste(b, x, "documents/index-dossier.asp", sep = "/")) # scrape data <- getURL(data); data <- readLines(tc <- textConnection(data)); close(tc) data <- unlist(str_extract_all(data, "dossiers/[[:alnum:]_-]+.asp")) data <- paste(b, x, data, sep = "/") data <- getURL(data) write.table(data,file=n <- paste("raw_an",x,".txt",sep="")); str(n) }) </code>
¿Hay alguna manera de optimizar elgetURL()
funciona aqui? Parece que no puedo usar la descarga concurrente al pasar elasync=TRUE
Opción, que me da el mismo error cada vez:
<code>Error in function (type, msg, asError = TRUE) : Failed to connect to 0.0.0.12: No route to host </code>
¿Algunas ideas? ¡Gracias!