Ich verwende fread in data.table (1.8.8, R 3.0.1), um zu versuchen, sehr große Dateien zu lesen.

Die fragliche Datei hat 313 Zeilen und ~ 6,6 Millionen Spalten mit numerischen Datenzeilen, und die Datei ist ungefähr 12 GB groß. Dies ist ein Centos 6.4 mit 512 GB RAM.

Wenn ich versuche, die Datei einzulesen:

g=fread('final.results',header=T,sep=' ')
'header' changed by user from 'auto' to TRUE
Error: protect(): protection stack overflow

Ich habe versucht, R mit --max-ppsize 500000 zu starten, was das Maximum ist, aber der gleiche Fehler.

Ich habe auch versucht, die Stapelgröße auf unbegrenzt einzustellen

ulimit -s unlimited

Der virtuelle Speicher wurde bereits auf unbegrenzt gesetzt.

Bin ich mit einer Datei dieser Größe unrealistisch? Habe ich etwas ziemlich offensichtliches übersehen?