LMDB-Dateien und wie sie für caffe deep learning network verwendet werden
Ich bin ein Neuling im Bereich Deep Learning und habe einige Probleme bei der Verwendung des caff, e Deep Learning-Netzwerks. Grundsätzlich habe ich keine Dokumentation gefunden, die erklärt, wie ich eine Reihe von Fragen und Problemen lösen kann, mit denen ich mich gerade befasse.
Bitte lassen Sie mich zuerst meine Situation erklären.
Ich habe Tausende von Bildern und muss eine Reihe von Vorverarbeitungsvorgängen ausführen. Für jeden Vorverarbeitungsvorgang muss ich diese vorverarbeiteten Bilder als 4D-Matrizen speichern und auch einen Vektor mit den Bildbezeichnungen speichern. Ich werde diese Informationen als LMDB-Dateien speichern, die als Eingabe für das Caffe Googlenet Deep Learning verwendet werden.
Ich habe versucht, meine Bilder als .HD5-Dateien zu speichern, aber die endgültige Dateigröße beträgt 80 GB, was mit dem mir zur Verfügung stehenden Speicher unmöglich zu verarbeiten ist.
Also, die andere Option ist die Verwendung von LMDB-Dateien, oder? Ich bin ein Neuling in diesem Dateiformat und danke für Ihre Hilfe, um zu verstehen, wie man sie in Matlab erstellt. Grundsätzlich sind meine Anfängerfragen:
1- Diese LMDB-Dateien haben die Erweiterung .MDB, richtig? Wird diese Erweiterung auch von Microsoft Access verwendet? oder das richtige format ist .lmdb und sie sind unterschiedlich?
2- Ich finde diese Lösung zum Erstellen von .mdb-Dateien https: //github.com/kyamagu/matlab-leveld), erstellt es das von caffe benötigte Dateiformat?
3- Muss ich für caffe eine .mdb-Datei für Beschriftungen und eine andere für Bilder erstellen, oder können beide Felder aus derselben .mdb-Datei bestehen?
4- Wenn ich eine .mdb-Datei erstelle, muss ich die Datenbankfelder beschriften. Kann ich ein Feld als Bild und ein anderes als Etikett kennzeichnen? versteht caffe, welches feld bedeutet?
5- Was macht die Funktion (inhttps: //github.com/kyamagu/matlab-leveld) database.put ('key1', 'value1') und database.put ('key2', 'value2') funktionieren? Muss ich meine 4-D-Matrizen in einem Feld und den Beschriftungsvektor in einem anderen Feld speichern?