Was ist die empfohlene Komprimierung für HDF5 für eine schnelle Lese- / Schreibleistung (in Python / Pandas)?
Ich habe mehrmals gelesen, dass das Aktivieren der Komprimierung in HDF5 zu einer besseren Lese- / Schreibleistung führen kann.
Ich frage mich, welche idealen Einstellungen für eine gute Lese- / Schreibleistung geeignet sind:
data_df.to_hdf(..., format='fixed', complib=..., complevel=..., chunksize=...)
Ich benutze bereitsfixed
Format (d. h.h5py
) da es schneller ist alstable
. Ich habe starke Prozessoren und kümmere mich nicht viel um den Speicherplatz.
Ich speichere oftDataFrame
s vonfloat64
undstr
gibt Dateien von ca. 2500 Zeilen x 9000 Spalten.