Я работаю на 64-разрядной машине с Windows Server 2008 с процессором Intel Xeon и 24 ГБ оперативной памяти. У меня возникают проблемы при попытке прочитать конкретный файл TSV (с разделителями табуляции) размером 11 ГБ (> 24 миллиона строк, 20 столбцов). Мой обычный компаньон,read.table, подвел меня. Я сейчас пробую посылкуffчерез эту процедуру:

> df <- read.delim.ffdf(file       = "data.tsv",
+                       header     = TRUE,
+                       VERBOSE    = TRUE,
+                       first.rows = 1e3,
+                       next.rows  = 1e6,
+                       na.strings = c("", NA),
+                       colClasses = c("NUMERO_PROCESSO" = "factor"))

Который отлично работает для примерно 6 миллионов записей, но затем я получаю сообщение об ошибке, как вы можете видеть:

read.table.ffdf 1..1000 (1000) csv-read=0.14sec ffdf-write=0.2sec
read.table.ffdf 1001..1001000 (1000000) csv-read=240.92sec ffdf-write=67.32sec
read.table.ffdf 1001001..2001000 (1000000) csv-read=179.15sec ffdf-write=94.13sec
read.table.ffdf 2001001..3001000 (1000000) csv-read=792.36sec ffdf-write=68.89sec
read.table.ffdf 3001001..4001000 (1000000) csv-read=192.57sec ffdf-write=83.26sec
read.table.ffdf 4001001..5001000 (1000000) csv-read=187.23sec ffdf-write=78.45sec
read.table.ffdf 5001001..6001000 (1000000) csv-read=193.91sec ffdf-write=94.01sec
read.table.ffdf 6001001..
Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  : 
  could not allocate memory (2048 Mb) in C function 'R_AllocStringBuffer'

Если я не ошибаюсь, R жалуется на нехватку памяти для чтения данных, но неread...ffdf процедура должна обойти интенсивное использование памяти при чтении данных? Что я могу здесь делать не так?