Файлы LMDB и как они используются для сети глубокого обучения caffe

Я довольно новичок в области глубокого обучения, и у меня возникли некоторые проблемы с использованием сети глубокого обучения caff, e. По сути, я не нашел никакой документации, объясняющей, как я могу решить ряд вопросов и проблем, с которыми я сейчас сталкиваюсь.

Пожалуйста, позвольте мне сначала объяснить мою ситуацию.

У меня есть тысячи изображений, и я должен выполнить серию операций по их обработке. Для каждой операции предварительной обработки я должен сохранять эти предварительно обработанные изображения в виде 4D-матриц, а также сохранять вектор с метками изображений. Я буду хранить эту информацию в виде файлов LMDB, которые будут использоваться в качестве входных данных для углубленного изучения caffe googlenet.

Я пытался сохранить свои изображения как файлы .HD5, но окончательный размер файла составляет 80 ГБ, что невозможно обработать с помощью имеющейся у меня памяти.

Итак, другой вариант - использование файлов LMDB, верно? Я довольно новичок в этом формате файлов, и я ценю вашу помощь в понимании того, как создать их в Matlab. В основном, мои новые вопросы:

1- Эти файлы LMDB имеют расширение .MDB, верно? это расширение используется Microsoft Access? или правильный формат .lmdb и они разные?

2- Я нахожу это решение для создания файлов .mdb (https://github.com/kyamagu/matlab-leveldb), это создает формат файла, необходимый для caffe?

3- Для caffe должен ли я создать один файл .mdb для меток, а другой - для изображений, или оба могут быть полями одного и того же файла .mdb?

4- Когда я создаю файл .mdb, я должен пометить поля базы данных. Могу ли я пометить одно поле как изображение, а другое как метку? Кафе понимает, что означает поле?

5- что делает функция (вhttps://github.com/kyamagu/matlab-leveldb) Что делать с базами данных («ключ1», «значение1») и база данных («ключ2», «значение2»)? Должен ли я сохранять свои 4-мерные матрицы в одном поле и вектор метки в другом?

Ответы на вопрос(2)

Ваш ответ на вопрос