Как лучше подходить для хранения и запроса большого набора данных метеорологических данных?

Я ищу удобный способ хранения и запроса огромного количества метеорологических данных (мало ТБ). Больше информации о типе данных в середине вопроса. Раньше я смотрел в сторону MongoDB (я использовал его для многих своих предыдущих проектов и ...

Как получить более быстрый код, чем numpy.dot для умножения матриц?

ВотУмножение матриц с использованием hdf5 [https://stackoverflow.com/questions/19684575/matrix-multiplication-using-hdf5]Я использую hdf5 (pytables) для умножения больших матриц, но я был удивлен, потому что, используя hdf5, он работает даже ...

Вопрос для вставки с помощью psycopg

Я читаю данные из файла .mat с помощью модуля Pytables. После прочтения данных, я хочу вставить эти данные в базу данных с помощью psycopg. Вот пример кода: file = tables.openFile(matFile) x = 0 #populate the matData list for var in dest: data = ...

Есть ли преимущество в скорости анализа или использовании памяти при использовании HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?

Я обрабатываю большие 3D-массивы, которые мне часто приходится разрезать различными способами для анализа данных. Типичный «куб» может быть ~ 100 ГБ (и, скор...

ptrepack sortby нужен полный индекс

Я пытаюсь повторно упаковать файл HDF, созданный с помощью интерфейса ptables HDFStore pytables. Основным индексом датафрейма было время, но я сделал еще несколько столбцовdata_columns так что я могу фильтровать данные на диске через эти ...

Pandas «Group By» Запрос больших объемов данных в HDFStore?

У меня есть около 7 миллионов строк в

Использование pytables, что более эффективно: scipy.sparse или плотная матрица numpy?

Когда используешьpytablesнет поддержки (насколько я могу судить) дляscipy.sparse матричные форматы, поэтому для хранения матрицы мне нужно выполнить какое-то преобразование, например, def store_sparse_matrix(self): grp1 ...

Сохранение словарей в файл (numpy и Python 2/3 friendly)

Я хочу создать иерархическое хранилище значений ключей в Python, которое сводится к хранению словарей в файлах. Под этим я подразумеваю любой тип структуры словаря, который может содержать другие словари, числовые массивы, сериализуемые объекты ...

ptrepack sortby нужен полный индекс

Создание огромного массива с использованием pytables

Как я могу создать огромный массив с использованием pytables. Я попробовал это, но выдает «ValueError: массив слишком большой». ошибка: import numpy as np import tables as tb ndim = 60000 h5file = tb.openFile('test.h5', mode='w', title="Test ...