error de desbordamiento de la pila de protección
Estoy usando fread en data.table (1.8.8, R 3.0.1) en un intento de leer archivos muy grandes.
El archivo en cuestión tiene 313 filas y ~ 6,6 millones de cols de filas de datos numéricos y el archivo es de alrededor de 12 gb. Este es un Centos 6.4 con 512GB de RAM.
Cuando intento leer en el archivo:
g=fread('final.results',header=T,sep=' ')
'header' changed by user from 'auto' to TRUE
Error: protect(): protection stack overflow
Intenté iniciar R con --max-ppsize 500000, que es el máximo, pero el mismo error.
También intenté establecer el tamaño de pila a ilimitado a través de
ulimit -s unlimited
La memoria virtual ya estaba configurada a ilimitado.
¿Estoy siendo poco realista con un archivo de este tamaño? ¿Me perdí algo bastante obvio?