Эффективная загрузка больших файлов с помощью R / RCurl
Я вижу, что многие примеры загрузки бинарных файлов с помощью RCurl выглядят так:
library("RCurl")
curl = getCurlHandle()
bfile=getBinaryURL (
"http://www.example.com/bfile.zip",
curl= curl,
progressfunction = function(down, up) {print(down)}, noprogress = FALSE
)
writeBin(bfile, "bfile.zip")
rm(curl, bfile)
Если загрузка очень большая, я полагаю, было бы лучше записать ее одновременно на носитель, а не извлекать все в память.
В документации RCurl есть несколько примеров, чтобы получить файлы по частям и манипулировать ими по мере их загрузки, но все они, похоже, относятся к текстовым частям.
Можете привести рабочий пример?
ОБНОВИТЬПользователь предлагает использовать R nativedownload file
сmode = 'wb'
опция для бинарных файлов.
Во многих случаях нативная функция является жизнеспособной альтернативой, но есть ряд вариантов использования, в которых эта нативная функция не подходит (https, файлы cookie, формы и т. Д.), И именно поэтому существует RCurl.