Suchergebnisse für Anfrage "hdf5"
Schließen Sie eine geöffnete h5py-Datendatei
n unserem Labor speichern wir unsere Daten inhdf5 Dateien durch das Python-Paketh5py. u Beginn eines Experiments erstellen wir einhdf5 file und speichere Array nach Array von Daten in der Datei (unter anderem). Wenn ein Experiment ...
Entdeckung von Schlüsseln mit h5py in python3
Impython2.7, Ich kann ein @ analysierhdf5 Dateien Schlüssel verwenden $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key'] Jedoch inpython3.4, Ich bekomme etwas anderes: $ python3 -q >>> import h5py >>> f = ...
Was ist die empfohlene Komprimierung für HDF5 für eine schnelle Lese- / Schreibleistung (in Python / Pandas)?
Ich habe mehrmals gelesen, dass das Aktivieren der Komprimierung in HDF5 zu einer besseren Lese- / Schreibleistung führen kann. Ich frage mich, welche idealen Einstellungen für eine gute Lese- / Schreibleistung geeignet ...
nkrementeller PCA für Big Da
Ich habe gerade versucht, IncrementalPCA von sklearn.decomposition zu verwenden, aber es hat einen MemoryError ausgelöst, genau wie zuvor PCA und RandomizedPCA. Mein Problem ist, dass die Matrix, die ich zu laden versuche, zu groß ist, um in RAM ...
Schreiben eines zusammengesetzten Datensatzes mit einer Zeichenfolge variabler Länge über h5py (HDF5)
Ich konnte in meiner HDF5-Datei mit h5py ein zusammengesetztes Dataset erstellen, das aus einem vorzeichenlosen int und einem String variabler Länge besteht, aber ich kann nicht darauf schreiben. dt = h5py.special_dtype(vlen=str) dset = ...
Wie verarbeitet Spark DataFrame Pandas DataFrame, der größer als der Speicher ist
Ich lerne gerade Spark und es scheint die Big-Data-Lösung für Pandas Dataframe zu sein, aber ich habe diese Frage, die mich unsicher macht. Gegenwärtig speichere ich Pandas-Datenrahmen, die größer als der Speicher sind, mit HDF5. HDF5 ist ein ...
Wie kann man mit h5py zwischen HDF5-Datensätzen und -Gruppen unterscheiden?
Ich benutze das Python-Paket h5py (Version 2.5.0), um auf meine hdf5-Dateien zuzugreifen. Ich möchte den Inhalt einer Datei durchlaufen und mit jedem Datensatz etwas anfangen. Verwendung dervisit Methode import h5py def print_it(name): dset = ...
Schreiben eines großen hdf5-Datensatzes mit h5py
Im Moment benutze ich h5py, um hdf5-Datensätze zu generieren. Ich habe so etwas import h5py import numpy as np my_data=np.genfromtxt("/tmp/data.csv",delimiter=",",dtype=None,names=True) myFile="/tmp/f.hdf" with h5py.File(myFile,"a") as f: dset ...
Unterstützt hdf5 gleichzeitige Lese- oder Schreibvorgänge in verschiedenen Dateien?
Ich versuche die Grenzen der Parallelität von hdf5 zu verstehen. Es gibt zwei Builds von hdf5:parallel HDF5 undStandar. Die parallele Version wird derzeit in Ubuntu und die Standardversion in Anaconda ausgeliefert (gemessen am Flag ...
numpy undefiniertes Symbol: PyFPE_jbuf
Ich versuche, den One Million Song-Datensatz zu verwenden. Dafür musste ich Python-Tabellen, Numpy, Cython, Hdf5, Numexpr usw. installieren. Gestern konnte ich alles installieren, was ich brauchte, und nachdem ich einige Probleme mit hdf5 ...