¿Cómo importar un archivo gzip mayor que el límite de RAM en un Pandas DataFrame? "Kill 9" ¿Usa HDF5?
tengo ungzip que es de aproximadamente 90 GB. Esto está bien dentro del espacio en disco, pero mucho más grande que la RAM.
¿Cómo puedo importar esto a un marco de datos de pandas? Intenté lo siguiente en la línea de comando:
# start with Python 3.4.5
import pandas as pd
filename = 'filename.gzip' # size 90 GB
df = read_table(filename, compression='gzip')
Sin embargo, después de varios minutos, Python se apaga conKill 9.
Después de definir el objeto de la base de datosdf, Estaba planeando guardarlo en HDF5.
¿Cuál es la forma correcta de hacer esto? Como puedo usarpandas.read_table() ¿para hacer esto?