Результаты поиска по запросу "hdf5"
Более быстрое чтение временных рядов из netCDF?
У меня есть несколько больших файлов netCDF, которые содержат 6 часовых данных о Земле с разрешением 0,5 градуса.Есть 360 точек широты, 720 точек долготы и 1...
«Большие данные» рабочие потоки с использованием панд
Я пытался найти ответ на этот вопрос в течение многих месяцев, изучая панд. Я использую SAS для своей повседневной работы, и он отлично подходит для поддержки из ядра. Однако SAS ужасен как часть программного обеспечения по многим ...
инкрементная запись в hdf5 с помощью h5py
У меня вопрос о том, как лучше писать в hdf5 файлы с помощью python / h5py.У меня есть данные как:
Есть ли преимущество в скорости анализа или использовании памяти при использовании HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?
Я обрабатываю большие 3D-массивы, которые мне часто приходится разрезать различными способами для анализа данных. Типичный «куб» может быть ~ 100 ГБ (и, скор...
Итеративная запись в магазины HDF5 в Пандах
Панды [http://pandas.pydata.org/pandas-docs/dev/io.html#notes-caveats]есть следующие примеры того, как хранитьSeries, DataFrames а такжеPanelsв файлах HDF5: Подготовьте некоторые данные:In [1142]: store = HDFStore('store.h5') In [1143]: index = ...
Затем выполните файл сценария выше, используя:
я есть около 500 файлов HDF5 каждый около 1,5 ГБ. Каждый из файлов имеет одинаковую точную структуру, которая состоит из 7 составных (int, double, double) наборов данных и переменного количества выборок. Теперь я хочу объединить все эти файлы, ...
Как Spark DataFrame обрабатывает Pandas DataFrame, который больше, чем память
Сейчас я изучаю Spark, и, похоже, это решение для больших данных для Pandas Dataframe, но у меня есть этот вопрос, который заставляет меня сомневаться.В наст...
Загрузка разреженной матрицы Matlab, сохраненной с -v7.3 (HDF5), в Python и работа над ней
Я новичок в Python, выходец из Matlab. У меня есть большая разреженная матрица, сохраненная в формате Matlab v7.3 (HDF5). До сих пор я нашел два способа загрузки в файл, используяh5py а такжеtables, Однако работа с матрицей, кажется, очень ...