Какое сжатие рекомендуется для HDF5 для быстрого чтения / записи (в Python / pandas)?
Я читал несколько раз, что включение сжатия в HDF5 может привести к лучшей производительности чтения / записи.
Интересно, какие идеальные настройки могут быть для достижения хорошей производительности чтения / записи при:
data_df.to_hdf(..., format='fixed', complib=..., complevel=..., chunksize=...)
Я уже используюfixed
формат (т.е.h5py
) как быстрее чемtable
, У меня сильные процессоры, и меня не волнует дисковое пространство.
Я часто хранюDataFrame
сfloat64
а такжеstr
набирает в файлах ок. 2500 строк х 9000 столбцов.