Was ist die empfohlene Komprimierung für HDF5 für eine schnelle Lese- / Schreibleistung (in Python / Pandas)?

Ich habe mehrmals gelesen, dass das Aktivieren der Komprimierung in HDF5 zu einer besseren Lese- / Schreibleistung führen kann.

Ich frage mich, welche idealen Einstellungen für eine gute Lese- / Schreibleistung geeignet sind:

 data_df.to_hdf(..., format='fixed', complib=..., complevel=..., chunksize=...)

Ich benutze bereitsfixed Format (d. h.h5py) da es schneller ist alstable. Ich habe starke Prozessoren und kümmere mich nicht viel um den Speicherplatz.

Ich speichere oftDataFrames vonfloat64 undstr gibt Dateien von ca. 2500 Zeilen x 9000 Spalten.

Antworten auf die Frage(2)

Ihre Antwort auf die Frage