Estoy tratando de raspar datos en páginas desde una API usando la función getURL del paquete RCurl en R. Mi problema es que no puedo replicar la respuesta que obtengo cuando abro la URL en Chrome cuando hago la solicitud usando R Esencialmente, cuando abro la página API (url a continuación) en Chrome funciona bien, pero si lo solicito usando getURL en R (o usando el modo de incógnito en Chrome) obtengo una respuesta '500 Internal Server Error' y no la bonita JSON que estoy buscando.

URL / API en cuestión:http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082

Aquí está mi solicitud (fallida) en [R].

test2 <- fromJSON(getURL("http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082", ssl.verifypeer = FALSE, useragent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36"))

Mi investigación hasta ahora Primero, miré esta pregunta anterior en la pila y agregué mi agente de uso a la solicitud (no resolvió el problema, pero aún puede ser necesario):Problemas de la API ViralHeat con el comando getURL () en el paquete RCurl

Luego miré esta útil publicación que guía mi razonamiento:R Disparidad entre el navegador y GET / getURL

Mis ideas sobre la solución Esta no es mi área de especialización, pero supongo que la solicitud carece de una cookie necesaria para completar la solicitud (de ahí que no funcione en mi navegador en modo de incógnito). Comparé las solicitudes y respuestas de la solicitud exitosa con la solicitud fallida:

Solicitud exitosa:

Solicitud fallida:

¿Alguien tiene alguna idea? ¿Debería intentar usar el paquete?RSelenium paquete sugerido por MrFlick en la segunda publicación que hice.