Resultados da pesquisa a pedido "hdf5"
Erro de construção de C ++ para um código simples usando as bibliotecas armadillo e hdf5
Eu sou bastante novo em C ++ e tatu, e fico com um erro de construção descrito abaixo. Estou tentando testar o seguinte código simples para salvar uma matriz de tatu como arquivo hdf5: #include <iostream> #include <armadillo> using namespace ...
O arquivo HDF5 criado com o h5py não pode ser aberto pelo h5py
Criei um arquivo HDF5 aparentemente sem problemas, no Ubuntu 12.04 (versão 32 bits), usando o Anaconda como distribuição Python e escrevendo em notebooks ipython. Os dados subjacentes são todos matrizes numpy. Por exemplo, import numpy as np ...
Existe uma vantagem de velocidade de análise ou uso de memória no uso do HDF5 para armazenamento em grandes matrizes (em vez de arquivos binários simples)?
Estou processando grandes matrizes 3D, que muitas vezes preciso dividir de várias maneiras para fazer uma variedade de análises de dados. Um "cubo" típico pode ter ~ 100 GB (e provavelmente aumentará no futuro) Parece que o formato de arquivo ...
Feche um arquivo de dados h5py aberto
Em nosso laboratório, armazenamos nossos dados emhdf5 arquivos através do pacote pythonh5py. No início de um experimento, criamos umhdf5 arquivar e armazenar matriz após matriz de matriz de dados no arquivo (entre outras coisas). Quando ...
Descobrindo chaves usando o h5py em python3
Nopython2.7, Eu posso analisar umahdf5 chaves de arquivos usam $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key']No entanto, empython3.4, Recebo algo diferente: $ python3 -q >>> import h5py >>> f = ...
Qual é a compactação recomendada para o HDF5 para desempenho rápido de leitura / gravação (em Python / pandas)?
Li várias vezes que ativar a compactação no HDF5 pode levar a um melhor desempenho de leitura / gravação. Gostaria de saber quais são as configurações ideais para obter um bom desempenho de leitura / gravação em: data_df.to_hdf(..., ...
PCA incremental em big data
Eu apenas tentei usar o IncrementalPCA do sklearn.decomposition, mas ele lançou um MemoryError assim como o PCA e o RandomizedPCA antes. Meu problema é que a matriz que estou tentando carregar é muito grande para caber na RAM. No momento, ele é ...
Gravando em um conjunto de dados composto com sequência de comprimento variável via h5py (HDF5)
Consegui criar um conjunto de dados composto que consiste em um int sem sinal e uma sequência de comprimento variável no meu arquivo HDF5 usando o h5py, mas não consigo gravar nele. dt = h5py.special_dtype(vlen=str) dset = ...
Como o Spark DataFrame lida com o Pandas DataFrame que é maior que a memória
Estou aprendendo o Spark agora e parece ser a solução de big data para o Pandas Dataframe, mas tenho essa pergunta que me deixa insegura. Atualmente, estou armazenando quadros de dados do Pandas maiores que a memória usando o HDF5. O HDF5 é uma ...
Gravando um grande conjunto de dados hdf5 usando o h5py
No momento, estou usando o h5py para gerar conjuntos de dados hdf5. Eu tenho algo parecido com isto import h5py import numpy as np my_data=np.genfromtxt("/tmp/data.csv",delimiter=",",dtype=None,names=True) myFile="/tmp/f.hdf" with ...