¿Cuál es un mejor enfoque para almacenar y consultar un gran conjunto de datos de datos meteorológicos?

Estoy buscando una forma conveniente de almacenar y consultar una gran cantidad de datos meteorológicos (pocos TB). Más información sobre el tipo de datos en...

Problemas R y HDF5

Estoy tratando de cargar un hdf5 en R y tengo algunos problemas. Estos son los pasos que tomé para configurar mi entorno:R 2.10.0 (x64) en Mac OS X 10.6hdf5 ...

Almacenando objetos Pandas junto con objetos Python regulares en HDF5

Pandas tiene uninterfaz agradable que facilita el almacenamiento de cosas como Dataframes y Series en un HDF5:

Guardando diccionarios en el archivo (compatible con numpy y Python 2/3)

¿Cómo obtener un código más rápido que numpy.dot para la multiplicación de matrices?

aquíMultiplicación de matrices utilizando hdf5. Utilizo hdf5 (pytables) para la multiplicación de grandes matrices, pero me sorprendió porque al usar hdf5 fu...

¿Lectura más rápida de series de tiempo de netCDF?

Tengo algunos archivos grandes de netCDF que contienen 6 datos por hora para la Tierra a una resolución de 0,5 grados.Hay 360 puntos de latitud, 720 puntos d...

Mejora el rendimiento de escritura de la tabla HDF5 de pandas (¿PyTables?)

He estado usando pandas para investigación ahora por cerca de dos meses con gran efecto. Con un gran número de conjuntos de datos de eventos de seguimiento d...

Anexando la columna al marco del archivo HDF en Pandas

Libere la memoria de disco hdf5 después de la eliminación de tablas o nodos con pytables o pandas

Estoy usando HDFStore con pandas / pytables.Después de eliminar una tabla u objeto, el tamaño del archivo hdf5 no se ve afectado. Parece que este espacio se ...

Ahorro con matrices h5py de diferentes tamaños

Estoy tratando de almacenar alrededor de 3000 matrices numpy usando el formato de datos HDF5. Las matrices varían en longitud de 5306 a 121999 np.float64 estoy obteniendoObject dtype dtype('O') has no native HDF5 equivalent error ya que debido a ...