ошибка переполнения стека защиты
Я использую fread в data.table (1.8.8, R 3.0.1) в попытке прочитать очень большие файлы.
Файл, о котором идет речь, содержит 313 строк и ~ 6,6 миллионов столбцов числовых строк данных, а размер файла составляет около 12 ГБ. Это Centos 6.4 с 512 ГБ оперативной памяти.
Когда я пытаюсь прочитать в файле:
g=fread('final.results',header=T,sep=' ')
'header' changed by user from 'auto' to TRUE
Error: protect(): protection stack overflow
Я попытался запустить R с --max-ppsize 500000, что является максимумом, но с той же ошибкой.
Я также попытался установить неограниченный размер стека с помощью
ulimit -s unlimited
Виртуальная память уже была установлена на неограниченное количество.
Я нереально с файлом такого размера? Я что-то упустил довольно очевидное?