Resultados de la búsqueda a petición "hdf5"
Ahorro con matrices h5py de diferentes tamaños
Estoy tratando de almacenar alrededor de 3000 matrices numpy usando el formato de datos HDF5. Las matrices varían en longitud de 5306 a 121999 np.float64 estoy obteniendoObject dtype dtype('O') has no native HDF5 equivalent error ya que debido a ...
¿hdf5 admite lecturas concurrentes o escrituras en diferentes archivos?
Estoy tratando de entender los límites de la concurrencia hdf5. Hay dos compilaciones de hdf5:HDF5 paralelo ydefecto. La versión paralela se suministra actualmente en Ubuntu, y la predeterminada en Anaconda (a juzgar por el indicador ...
Escribir un gran conjunto de datos hdf5 usando h5py
Por el momento, estoy usando h5py para generar conjuntos de datos hdf5. Tengo algo como esto import h5py import numpy as np my_data=np.genfromtxt("/tmp/data.csv",delimiter=",",dtype=None,names=True) myFile="/tmp/f.hdf" with h5py.File(myFile,"a") ...
¿Cómo diferenciar entre conjuntos de datos HDF5 y grupos con h5py?
Uso el paquete Python h5py (versión 2.5.0) para acceder a mis archivos hdf5. Quiero atravesar el contenido de un archivo y hacer algo con cada conjunto de datos. Utilizando lavisit método: import h5py def print_it(name): dset = f[name] ...
¿Cómo maneja Spark DataFrame el Pandas DataFrame que es más grande que la memoria?
Ahora estoy aprendiendo Spark, y parece ser la solución de Big Data para Pandas Dataframe, pero tengo esta pregunta que me hace inseguro. Actualmente estoy almacenando marcos de datos Pandas que son más grandes que la memoria usando HDF5. HDF5 ...
Escribir en un conjunto de datos compuesto con una cadena de longitud variable a través de h5py (HDF5)
He podido crear un conjunto de datos compuesto que consiste en un int sin signo y una cadena de longitud variable en mi archivo HDF5 usando h5py, pero no puedo escribir en él. dt = h5py.special_dtype(vlen=str) dset = fout.create_dataset(ver, ...
PCA incremental en big data
Acabo de intentar usar el IncrementalPCA de sklearn.decomposition, pero arrojó un MemoryError al igual que el PCA y RandomizedPCA antes. Mi problema es que la matriz que estoy tratando de cargar es demasiado grande para caber en la RAM. En este ...
¿Cuál es la compresión recomendada para HDF5 para un rendimiento de lectura / escritura rápido (en Python / pandas)?
He leído varias veces que activar la compresión en HDF5 puede conducir a un mejor rendimiento de lectura / escritura. Me pregunto qué configuración ideal puede ser para lograr un buen rendimiento de lectura / escritura en: data_df.to_hdf(..., ...
Descubriendo claves usando h5py en python3
Enpython2.7, Puedo analizar unhdf5 uso de claves de archivos $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key']Sin embargo, enpython3.4, Obtengo algo diferente: $ python3 -q >>> import h5py >>> f = ...
Cerrar un archivo de datos h5py abierto
En nuestro laboratorio almacenamos nuestros datos enhdf5 archivos a través del paquete pythonh5py. Al comienzo de un experimento creamos unhdf5 archivar y almacenar matriz tras matriz de matriz de datos en el archivo (entre otras cosas). Cuando ...