Результаты поиска по запросу "pytables"
Создание огромного массива с использованием pytables
Как я могу создать огромный массив с использованием pytables. Я попробовал это, но выдает «ValueError: массив слишком большой». ошибка: import numpy as np import tables as tb ndim = 60000 h5file = tb.openFile('test.h5', mode='w', title="Test ...
Использование pytables, что более эффективно: scipy.sparse или плотная матрица numpy?
Когда используешьpytablesнет поддержки (насколько я могу судить) дляscipy.sparse матричные форматы, поэтому для хранения матрицы мне нужно выполнить какое-то преобразование, например, def store_sparse_matrix(self): grp1 ...
Pandas «Group By» Запрос больших объемов данных в HDFStore?
У меня есть около 7 миллионов строк вHDFStore с более чем 60 столбцами. Данные больше, чем я могу уместить в памяти. Я хочу объединить данные в группы на основе значения столбца «А». Документация для пандРасщепление / агрегирование / объединения ...
HDFStore.append (string, DataFrame) завершается ошибкой, когда содержимое столбца строки длиннее, чем уже есть
У меня есть Pandas DataFrame, хранящийся в хранилище HDFS, в котором в основном хранятся итоговые строки о выполняемых мной тестовых прогонах Несколько полей в каждой строке содержат описательные строки переменной длины. Когда я выполняю ...
Итеративная запись в магазины HDF5 в Пандах
Панды [http://pandas.pydata.org/pandas-docs/dev/io.html#notes-caveats]есть следующие примеры того, как хранитьSeries, DataFrames а такжеPanelsв файлах HDF5: Подготовьте некоторые данные:In [1142]: store = HDFStore('store.h5') In [1143]: index = ...
HDF5 занимает больше места, чем CSV?
Рассмотрим следующий пример: Подготовьте данные:import string import random import pandas as pd matrix = np.random.random((100, 3000)) my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])] mydf = pd.DataFrame(matrix, ...
В чем преимущество PyTables? [закрыто]
Недавно я начал изучать PyTables и нашел его очень интересным. Мой вопрос: Каковы основные преимущества PyTables над базами данных, когда речь идет об огромных наборах данных?Какова основная цель этого пакета (я могу сделать такое же ...
Как лучше подходить для хранения и запроса большого набора данных метеорологических данных?
Я ищу удобный способ хранения и запроса огромного количества метеорологических данных (мало ТБ). Больше информации о типе данных в середине вопроса. Раньше я смотрел в сторону MongoDB (я использовал его для многих своих предыдущих проектов и ...
ptrepack sortby нужен полный индекс
Я пытаюсь повторно упаковать файл HDF, созданный с помощью интерфейса ptables HDFStore pytables. Основным индексом датафрейма было время, но я сделал еще несколько столбцовdata_columns так что я могу фильтровать данные на диске через эти ...
Сохранение словарей в файл (numpy и Python 2/3 friendly)
Я хочу создать иерархическое хранилище значений ключей в Python, которое сводится к хранению словарей в файлах. Под этим я подразумеваю любой тип структуры словаря, который может содержать другие словари, числовые массивы, сериализуемые объекты ...