Resultados de la búsqueda a petición "hdf5"
Error de construcción de C ++ para un código simple usando las bibliotecas armadillo y hdf5
Soy bastante nuevo en C ++ y armadillo, y me quedo atascado con un error de construcción que se describe a continuación. Estoy tratando de probar el siguiente código simple para guardar una matriz de armadillo como archivo hdf5: #include ...
Cerrar un archivo de datos h5py abierto
En nuestro laboratorio almacenamos nuestros datos enhdf5 archivos a través del paquete pythonh5py. Al comienzo de un experimento creamos unhdf5 archivar y almacenar matriz tras matriz de matriz de datos en el archivo (entre otras cosas). Cuando ...
Descubriendo claves usando h5py en python3
Enpython2.7, Puedo analizar unhdf5 uso de claves de archivos $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key']Sin embargo, enpython3.4, Obtengo algo diferente: $ python3 -q >>> import h5py >>> f = ...
¿Cuál es la compresión recomendada para HDF5 para un rendimiento de lectura / escritura rápido (en Python / pandas)?
He leído varias veces que activar la compresión en HDF5 puede conducir a un mejor rendimiento de lectura / escritura. Me pregunto qué configuración ideal puede ser para lograr un buen rendimiento de lectura / escritura en: data_df.to_hdf(..., ...
PCA incremental en big data
Acabo de intentar usar el IncrementalPCA de sklearn.decomposition, pero arrojó un MemoryError al igual que el PCA y RandomizedPCA antes. Mi problema es que la matriz que estoy tratando de cargar es demasiado grande para caber en la RAM. En este ...
Escribir en un conjunto de datos compuesto con una cadena de longitud variable a través de h5py (HDF5)
He podido crear un conjunto de datos compuesto que consiste en un int sin signo y una cadena de longitud variable en mi archivo HDF5 usando h5py, pero no puedo escribir en él. dt = h5py.special_dtype(vlen=str) dset = fout.create_dataset(ver, ...
¿Cómo maneja Spark DataFrame el Pandas DataFrame que es más grande que la memoria?
Ahora estoy aprendiendo Spark, y parece ser la solución de Big Data para Pandas Dataframe, pero tengo esta pregunta que me hace inseguro. Actualmente estoy almacenando marcos de datos Pandas que son más grandes que la memoria usando HDF5. HDF5 ...
Escribir un gran conjunto de datos hdf5 usando h5py
Por el momento, estoy usando h5py para generar conjuntos de datos hdf5. Tengo algo como esto import h5py import numpy as np my_data=np.genfromtxt("/tmp/data.csv",delimiter=",",dtype=None,names=True) myFile="/tmp/f.hdf" with h5py.File(myFile,"a") ...
¿Cómo importar un archivo gzip mayor que el límite de RAM en un Pandas DataFrame? "Kill 9" ¿Usa HDF5?
tengo ungzip que es de aproximadamente 90 GB. Esto está bien dentro del espacio en disco, pero mucho más grande que la RAM. ¿Cómo puedo importar esto a un marco de datos de pandas? Intenté lo siguiente en la línea de comando: # start with ...
¿Puedo almacenar mi propio objeto de clase en hdf5?
Tengo una clase como esta: class C: def __init__(self, id, user_id, photo): self.id = id self.user_id = user_id self.photo = photoNecesito crear millones de estos objetos. id es un número entero así como user_id, pero la foto es una matriz bool ...