Чтение простого файла Avro из HDFS
Я пытаюсь сделать простое чтение файла Avro, хранящегося в HDFS. Я узнал, как читать его, когда он находится в локальной файловой системе ....
FileReader reader = DataFileReader.openReader(new File(filename), new GenericDatumReader());
for (GenericRecord datum : fileReader) {
String value = datum.get(1).toString();
System.out.println("value = " value);
}
reader.close();
Мой файл в HDFS, однако. Я не могу дать openReader путь или FSDataInputStream. Как я могу просто прочитать файл Avro в HDFS?
РЕДАКТИРОВАТЬ: я получил это работать, создав пользовательский класс (SeekableHadoopInput), который реализует SeekableInput. Я "украл" это от "Ganglion" на github. Тем не менее, похоже, что для этого был бы путь интеграции Hadoop / Avro.
Спасибо