Я хочу иметь возможность читать / писать изображения в файловой системе hdfs и использовать преимущества hdfs.

У меня есть коллекция изображений, где каждое изображение состоит из

2D массивы uint16Основная дополнительная информация хранится в виде XML-файла.

Я хочу создать архив поверх файловой системы hdfs и использовать анализ для анализа архива. Сейчас я пытаюсь найти наилучший способ хранения данных в файловой системе hdfs, чтобы в полной мере воспользоваться структурой spark + hdfs.

Из того, что я понимаю, лучшим способом было бы создать оболочку sequenceFile. У меня есть два вопроса:

Является ли создание оболочки sequenceFile лучшим способом?У кого-нибудь есть указатель на примеры, с которых я мог бы начать? Я не должен быть первым, кто должен читать что-то отличное от текстового файла на hdfs через spark!