Czytanie prostego pliku Avro z HDFS
Próbuję zrobić prosty odczyt pliku Avro przechowywanego w HDFS. Dowiedziałem się, jak go odczytać, gdy jest w lokalnym systemie plików ....
FileReader reader = DataFileReader.openReader(new File(filename), new GenericDatumReader());
for (GenericRecord datum : fileReader) {
String value = datum.get(1).toString();
System.out.println("value = " value);
}
reader.close();
Mój plik jest jednak w HDFS. Nie mogę podać openReaderowi ścieżki ani FSDataInputStream. Jak mogę po prostu odczytać plik Avro w HDFS?
EDIT: Mam to do pracy, tworząc niestandardową klasę (SeekableHadoopInput), która implementuje SeekableInput. „Ukradłem” to z „Ganglion” na githubie. Mimo to wygląda na to, że do tego dojdzie ścieżka integracji Hadoop / Avro.
Dzięki