Estou tentando raspar dados em páginas de uma API usando a função getURL do pacote RCurl em R. Meu problema é que não consigo replicar a resposta que recebo quando abro a URL no Chrome quando faço a solicitação usando R Basicamente, quando abro a página da API (url abaixo) no Chrome, ela funciona bem, mas se eu solicitar usando getURL no R (ou usando o modo de navegação anônima no Chrome), recebo uma resposta '500 Internal Server Error' e não a bonita JSON que estou procurando.

URL / API em questão:http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082

Aqui está minha solicitação (falhada) em [R].

test2 <- fromJSON(getURL("http://www.bluenile.com/api/public/loose-diamond/diamond-details/panel?country=USA&currency=USD&language=en-us&productSet=BN&sku=LD04077082", ssl.verifypeer = FALSE, useragent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36"))

Minha pesquisa até agora Primeiro, observei essa pergunta anterior na pilha e adicionei meu useragent à solicitação (não resolveu o problema, mas ainda pode ser necessário):Problemas de API do ViralHeat com o comando getURL () no pacote RCurl

Em seguida, olhei para este post útil que guia minha lógica:R Disparidade entre navegador e GET / getURL

Minhas idéias sobre a solução Esta não é minha área de especialização, mas acho que falta um cookie necessário para concluir a solicitação (por isso não funciona no meu navegador no modo de navegação anônima). Comparei as solicitações e respostas da solicitação bem-sucedida com a solicitação malsucedida:

Pedido bem sucedido:

Pedido malsucedido:

Alguém tem alguma ideia? Devo tentar usar o pacoteRSelenium pacote sugerido por MrFlick no 2º post que fiz.