Как импортировать файл gzip, превышающий лимит ОЗУ, в Pandas DataFrame? «Убить 9» Использовать HDF5?
у меня естьgzip что составляет примерно 90 ГБ. Это хорошо в пределах дискового пространства, но намного больше чем RAM.
Как я могу импортировать это в pandas dataframe? Я попробовал следующее в командной строке:
# start with Python 3.4.5
import pandas as pd
filename = 'filename.gzip' # size 90 GB
df = read_table(filename, compression='gzip')
Однако через несколько минут Python завершает работу сKill 9.
После определения объекта базы данныхdfЯ планировал сохранить его в HDF5.
Как правильно это сделать? Как я могу использоватьpandas.read_table() сделать это?