Resultados de la búsqueda a petición "hdf5"
¿Puedo leer el archivo h5 en una máquina como bytearray, transmitir ese bytearray a otra máquina y luego cargarlo desde bytearray en otra máquina?
Tengo el siguiente requisito: tengo un archivo h5 en una máquina (fuente), que quiero usar en otra máquina (de destino). Actualmente siento que debería leer ese archivo h5 como bytearray en la máquina de origen, transmitir el bytearray a la ...
Importar un gran conjunto de datos sin imágenes en TensorFlow
Tengo un gran conjunto de datos (300,000 ejemplos x 33,000 características), que por supuesto no se ajusta a la memoria. Los datos se guardan en formato HDF5. Los valores son en su mayoría ceros (datos dispersos). Se ven así: Attr1 52 52 52 52 ...
Guardar en un archivo una matriz o DataFrame junto con otra información
El software estadísticoStata [https://www.stata.com/]permite guardar fragmentos de texto cortos dentro de un conjunto de datos. Esto se logra usandonotes [https://www.stata.com/manuals13/dnotes.pdf]y / ...
Guardar en hdf5 es muy lento (congelación de Python)
Estoy tratando de guardar los valores de cuello de botella en un archivo hdf5 recién creado. Los valores del cuello de botella vienen en lotes de forma(120,10,10, 2048). Guardar un solo lote está ocupando más de 16 conciertos y Python parece ...
TensorFlow - tf.data.Dataset leyendo grandes archivos HDF5
Estoy configurando una tubería de TensorFlow para leer grandes archivos HDF5 como entrada para mis modelos de aprendizaje profundo. Cada archivo HDF5 contiene 100 videos de tamaño variable almacenados como una colección de imágenes JPG ...
Cómo agregar datos a un conjunto de datos específico en un archivo hdf5 con h5py
Estoy buscando la posibilidad de agregar datos a un conjunto de datos existente dentro de un archivo h5 usando python (h5py). Una breve introducción a mi proyecto: trato de entrenar a una CNN utilizando datos de imágenes médicas. Debido a la ...
Almacenamiento de matriz de longitud variable multidimensional con h5py
Estoy tratando de almacenar una lista de matrices de longitud variable en un archivo HDF con el siguiente procedimiento: phn_mfccs = [] # Import wav files for waveform in files: phn_mfcc = mfcc(waveform) # produces a variable length multidim ...
¿Puedo almacenar mi propio objeto de clase en hdf5?
Tengo una clase como esta: class C: def __init__(self, id, user_id, photo): self.id = id self.user_id = user_id self.photo = photoNecesito crear millones de estos objetos. id es un número entero así como user_id, pero la foto es una matriz bool ...
¿Cómo importar un archivo gzip mayor que el límite de RAM en un Pandas DataFrame? "Kill 9" ¿Usa HDF5?
tengo ungzip que es de aproximadamente 90 GB. Esto está bien dentro del espacio en disco, pero mucho más grande que la RAM. ¿Cómo puedo importar esto a un marco de datos de pandas? Intenté lo siguiente en la línea de comando: # start with ...
H5py store list of list of strings
¿Existe la posibilidad en h5py de crear un conjunto de datos que consista en listas de cadenas? Intenté crear un tipo de datos anidado de longitud variable, pero esto da como resultado un error de segmentación en mi intérprete de Python. def ...