Resultados da pesquisa a pedido "hdf5"
Como o Spark DataFrame lida com o Pandas DataFrame que é maior que a memória
Estou aprendendo o Spark agora e parece ser a solução de big data para o Pandas Dataframe, mas tenho essa pergunta que me deixa insegura. Atualmente, estou armazenando quadros de dados do Pandas maiores que a memória usando o HDF5. O HDF5 é uma ...
Como diferenciar conjuntos de dados e grupos do HDF5 com o h5py?
Eu uso o pacote Python h5py (versão 2.5.0) para acessar meus arquivos hdf5. Eu quero percorrer o conteúdo de um arquivo e fazer algo com cada conjunto de dados. Usando ovisit método: import h5py def print_it(name): dset = f[name] print(dset) ...
Gravando um grande conjunto de dados hdf5 usando o h5py
No momento, estou usando o h5py para gerar conjuntos de dados hdf5. Eu tenho algo parecido com isto import h5py import numpy as np my_data=np.genfromtxt("/tmp/data.csv",delimiter=",",dtype=None,names=True) myFile="/tmp/f.hdf" with ...
O hdf5 suporta leituras simultâneas ou grava em arquivos diferentes?
Estou tentando entender os limites da simultaneidade hdf5. Existem duas versões do hdf5:HDF5 paralelo epadrão. A versão paralela é atualmente fornecida no Ubuntu, e o padrão no Anaconda (julgado pelo sinalizador "--enable-parallel"). Eu sei que ...
Salvando com matrizes h5py de tamanhos diferentes
Estou tentando armazenar cerca de 3000 matrizes numpy usando o formato de dados HDF5. As matrizes variam em comprimento de 5306 a 121999 np.float64 estou obtendoObject dtype dtype('O') has no native HDF5 equivalent erro, devido à natureza ...
Posso ler o arquivo h5 em uma máquina como bytearray, transmitir esse bytearray para outra máquina e carregá-lo da bytearray em outra máquina?
Tenho o seguinte requisito: Eu tenho o arquivo h5 em uma máquina (de origem), que desejo usar em outra máquina (de destino). Atualmente, acho que devo ler esse arquivo h5 como bytearray na máquina de origem, transmitir o bytearray para a máquina ...
Concatenar um grande número de arquivos HDF5
Tenho cerca de 500 arquivos HDF5, cada um com cerca de 1,5 G ada um dos arquivos tem a mesma estrutura exata, composta por 7 conjuntos de dados compostos (int, duplo, duplo) e número variável de amostra gora, quero concatenar todos esses ...
aneira mais rápida de gravar arquivos HDF5 com Pytho
Dado um arquivo CSV grande (10s de GB) de texto / números mistos, qual é a maneira mais rápida de criar um arquivo HDF5 com o mesmo conteúdo, mantendo o uso de memória razoáve Eu gostaria de usar oh5py módulo, se possíve No exemplo de ...
Instalando o h5py no OS X
Passei o dia tentando obter oh5py módulo de python funcionando, mas sem sucesso. Instalei as bibliotecas compartilhadas do HDF5 e segui as instruções que encontrei na Web para fazer o correto. Mas isso não funciona, abaixo está a mensagem de ...
Python HDF5 H5Py emite a abertura de vários arquivos
Usint a versão de 64 bits do Enthought Python para processar dados em vários arquivos HDF5. Estou usando o h5py versão 1.3.1 (HDF5 1.8.4) no Windows de 64 bits. Eu tenho um objeto que fornece uma interface conveniente para minha hierarquia de ...