błąd przepełnienia stosu ochrony fread
Używam fread w pliku data.table (1.8.8, R 3.0.1) podczas próby odczytu bardzo dużych plików.
Plik w pytaniach ma 313 wierszy i ~ 6,6 mln kolumn liczbowych wierszy danych, a plik ma około 12 GB. To jest Centos 6.4 z 512 GB pamięci RAM.
Kiedy próbuję odczytać plik:
g=fread('final.results',header=T,sep=' ')
'header' changed by user from 'auto' to TRUE
Error: protect(): protection stack overflow
Próbowałem uruchomić R z --max-ppsize 500000, co jest maksymalnym, ale tym samym błędem.
Próbowałem też ustawić rozmiar stosu na nieograniczony
ulimit -s unlimited
Pamięć wirtualna była już ustawiona na nieograniczoną.
Czy jestem nierealistyczny z plikiem o takim rozmiarze? Czy tęskniłem za czymś dość oczywistym?