Результаты поиска по запросу "hdf5"
Могу ли я сохранить свой собственный объект класса в hdf5?
У меня есть такой класс:
Я мог бы попытаться сгладить массив и сохранить некоторую информацию о формах в атрибуте или другом наборе данных.
аюсь сохранить список массивов переменной длины в файле HDF с помощью следующей процедуры:
Просто чтобы прояснить, как создать набор данных в первую очередь, вот как это будет выглядеть: h5f.create_dataset ('X_train', data = orig_data, сжатие = "gzip", chunks = True, maxshape = (None, )) Ключевая часть, настраивающая maxshape, чтобы быть кортежем, как у меня есть.
возможность добавить данные в существующий набор данных в h5-файл, используя python (h5py). Краткое введение в мой проект: я пытаюсь обучить CNN, используя данные медицинского изображения. Из-за огромного объема данных и ...
Повышение производительности записи таблиц HDF5 для панд (PyTables?)
Я пользуюсь пандами для исследований уже около двух месяцев, чтобы получить отличный эффект. С большим количеством наборов данных трассировки среднего размера pandas + PyTables (интерфейс HDF5) выполняет огромную работу, позволяя мне обрабатывать ...
Я могу подтвердить, что мне нужна была эта модификация, чтобы заставить ее работать.
траиваю конвейер TensorFlow для чтения больших файлов HDF5 в качестве входных данных для моих моделей глубокого обучения. Каждый файл HDF5 содержит 100 видеороликов переменной длины, которые хранятся в виде коллекции сжатых изображений JPG (для ...
max9111, нам не нужно спорить, что быстрее для np.load () & np.save () или для HDF5, вам просто нужно заменить функцию HDF5 на np.save (). Мой результат теста показывает пропускную способность 2,3 Гбит / с (18 Гбит / с). это выше в 8 раз производительности HDF5. Я считаю, что ваш компьютер намного быстрее моего, поэтому возможно 4 ~ 5 Гбит / с. Пожалуйста, попробуйте, просто замените dset_train_bottle () на np.save (). Дайте нам знать ваш результат теста. Это не большая работа.
аюсь сохранить значения узких мест во вновь созданном файле hdf5. Значения узких мест входят в партии формы(120,10,10, 2048), Сохранение одной партии занимает более 16 гигабайт, и Python, похоже, зависает в этой партии. Основываясь на недавних ...
Спасибо за продолжение - полезно для меня, чтобы знать также (предполагая, что я когда-либо получаю в руки любые действительно существенные наборы данных ...)
го занимаюсь статистикой и использую Python в качестве основного языка. Некоторые из наборов данных, с которыми я работаю, могут занимать 20 ГБ памяти, что делает почти невозможным работу с ними с использованием функций в памяти в numpy, scipy и ...
Надеюсь это поможет!
аюсь сохранить массив как файл HDF5, используя R, но безуспешно. Чтобы попытаться диагностировать проблему, я побежалexample(hdf5save), Это успешно создало файл HDF5, который я мог легко прочитать сh5dump. Когда я потом запустил код R вручную, ...
@Andrew: Я попробовал идею Амро и получил 1 МБ, 279 МБ и 286 МБ для простого, добавления и пакетного добавления соответственно. Время: 0,72, 0,68 и 4,41 с. Я ожидаю, что «случайность» моих данных изображения будет где-то между всеми 0 и равномерным псевдослучайным шумом. Кажется, что только «простой» метод дает ожидаемое сжатие всех нулей. Возможно, от добавления блоков ничего не получится: в итоге я получаю файлы .mat большего размера, чем необходимо. Хм ...
Этот вопрос касается проблемы, замеченной еще в 2011 году со старой версией MATLAB (R2009a). Согласно приведенному ниже обновлению от июля 2016 года, проблема / ошибка в MATLAB, по-видимому, больше не существует (протестировано с R2016a; ...
Спасибо AmV. Этот файл PDF - единственное место, где я видел эту информацию. Я не думаю, что это в онлайн-документации. MATLAB> Руководство пользователя> Внешние интерфейсы> "Импорт и экспорт MAT-файлов ..." - это наиболее близкий вариант, который обсуждается только для открытых API C и Fortran API.
иальная документациязаявляет следующее: [http://www.mathworks.com/help/matlab/ref/save.html#inputarg_version], Но я заметил, что есть и другие важные отличия, помимо тех, которые указаны в таблице выше. Например, сохранение массива ячеек с около ...