Lendo um arquivo Avro simples do HDFS
Eu estou tentando fazer uma leitura simples de um arquivo Avro armazenado no HDFS. Eu descobri como lê-lo quando está no sistema de arquivos local ....
FileReader reader = DataFileReader.openReader(new File(filename), new GenericDatumReader());
for (GenericRecord datum : fileReader) {
String value = datum.get(1).toString();
System.out.println("value = " value);
}
reader.close();
Meu arquivo está no HDFS, no entanto. Eu não posso dar o openReader um caminho ou um FSDataInputStream. Como posso simplesmente ler um arquivo Avro no HDFS?
EDIT: eu tenho isso para trabalhar criando uma classe personalizada (SeekableHadoopInput) que implementa SeekableInput. Eu "roubei" isso de "Ganglion" no github. Ainda assim, parece que haveria um caminho de integração do Hadoop / Avro para isso.
obrigado