Lesen einer einfachen Avro-Datei aus HDFS
Ich versuche, eine in HDFS gespeicherte Avro-Datei einfach zu lesen. Ich fand heraus, wie man es liest, wenn es auf dem lokalen Dateisystem ist ....
FileReader reader = DataFileReader.openReader(new File(filename), new GenericDatumReader());
for (GenericRecord datum : fileReader) {
String value = datum.get(1).toString();
System.out.println("value = " value);
}
reader.close();
Meine Datei ist jedoch in HDFS. Ich kann dem openReader weder einen Pfad noch einen FSDataInputStream geben. Wie kann ich einfach eine Avro-Datei in HDFS lesen?
BEARBEITEN: Um dies zu erreichen, habe ich eine benutzerdefinierte Klasse (SeekableHadoopInput) erstellt, die SeekableInput implementiert. Ich habe dies von "Ganglion" auf Github "gestohlen". Dennoch scheint es dafür einen Hadoop / Avro-Integrationspfad zu geben.
Vielen Dank