Resultados da pesquisa a pedido "hdf5"
IOError: Não é possível ler dados (Não é possível abrir o diretório) - Filtro de compactação gzip ausente
Eu nunca trabalhei com arquivos HDF5 antes e, para começar, recebi alguns arquivos de exemplo. Estive verificando todos os conceitos básicos comh5py, observando os diferentes grupos nesses arquivos, seus nomes, chaves, valores e assim por diante. ...
O arquivo HDF5 criado com o h5py não pode ser aberto pelo h5py
Criei um arquivo HDF5 aparentemente sem problemas, no Ubuntu 12.04 (versão 32 bits), usando o Anaconda como distribuição Python e escrevendo em notebooks ipython. Os dados subjacentes são todos matrizes numpy. Por exemplo, import numpy as np ...
Salvando em um arquivo uma matriz ou DataFrame junto com outras informações
O software estatísticoStata [https://www.stata.com/]permite que trechos curtos de texto sejam salvos em um conjunto de dados. Isso é realizado usandonotes [https://www.stata.com/manuals13/dnotes.pdf]e / ...
Existe uma vantagem de velocidade de análise ou uso de memória no uso do HDF5 para armazenamento em grandes matrizes (em vez de arquivos binários simples)?
Estou processando grandes matrizes 3D, que muitas vezes preciso dividir de várias maneiras para fazer uma variedade de análises de dados. Um "cubo" típico pode ter ~ 100 GB (e provavelmente aumentará no futuro) Parece que o formato de arquivo ...
Como ler arquivos HDF5 em Python
Estou tentando ler dados do arquivo hdf5 em Python. Eu posso ler o arquivo hdf5 usandoh5py, mas não consigo descobrir como acessar dados no arquivo. Meu códigoimport h5py import numpy as np f1 = h5py.File(file_name,'r+')Isso funciona e o arquivo ...
Feche um arquivo de dados h5py aberto
Em nosso laboratório, armazenamos nossos dados emhdf5 arquivos através do pacote pythonh5py. No início de um experimento, criamos umhdf5 arquivar e armazenar matriz após matriz de matriz de dados no arquivo (entre outras coisas). Quando ...
Descobrindo chaves usando o h5py em python3
Nopython2.7, Eu posso analisar umahdf5 chaves de arquivos usam $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key']No entanto, empython3.4, Recebo algo diferente: $ python3 -q >>> import h5py >>> f = ...
Qual é a compactação recomendada para o HDF5 para desempenho rápido de leitura / gravação (em Python / pandas)?
Li várias vezes que ativar a compactação no HDF5 pode levar a um melhor desempenho de leitura / gravação. Gostaria de saber quais são as configurações ideais para obter um bom desempenho de leitura / gravação em: data_df.to_hdf(..., ...
PCA incremental em big data
Eu apenas tentei usar o IncrementalPCA do sklearn.decomposition, mas ele lançou um MemoryError assim como o PCA e o RandomizedPCA antes. Meu problema é que a matriz que estou tentando carregar é muito grande para caber na RAM. No momento, ele é ...
Gravando em um conjunto de dados composto com sequência de comprimento variável via h5py (HDF5)
Consegui criar um conjunto de dados composto que consiste em um int sem sinal e uma sequência de comprimento variável no meu arquivo HDF5 usando o h5py, mas não consigo gravar nele. dt = h5py.special_dtype(vlen=str) dset = ...