Ruta de salida múltiple (Java - Hadoop - MapReduce)
Hago dos trabajos de MapReduce, y quiero que el segundo trabajo pueda escribir mi resultado en dos archivos diferentes, en dos directorios diferentes. Me gustaría algo similar a FileInputFormat.addInputPath (.., ruta de entrada múltiple) en un sentido, pero para la salida.
Soy completamente nuevo en MapReduce, y tengo una especificidad para escribir mi código en Hadoop 0.21.0 que usocontext.write(..) en mi paso Reducir, pero no veo cómo controlar varias rutas de salida ...
Gracias por tu tiempo !
Mi código de reducción de mi primer trabajo, para mostrarle que solo sé cómo generar (entra en un archivo /../part*. Pero ahora, lo que me gustaría es poder especificar dos archivos de precisión para diferentes salidas, dependiendo de la clave) :
public static class NormalizeReducer extends Reducer<LongWritable, NetflixRating, LongWritable, NetflixUser> {
public void reduce(LongWritable key, Iterable<NetflixRating> values, Context context) throws IOException, InterruptedException {
NetflixUser user = new NetflixUser(key.get());
for(NetflixRating r : values) {
user.addRating(new NetflixRating(r));
}
user.normalizeRatings();
user.reduceRatings();
context.write(key, user);
}
}
EDITAR: Así que hice el método en el último comentario que mencionaste, Amar. No sé si funciona, tengo otro problema con mi HDFS, pero antes de olvidarme, pongamos aquí mis descubrimientos por el bien de la civilización:
MultipleOutputs NO actúa en lugar de FormatOutputFormat. Usted define una ruta de salida con FormatOutputFormat, y luego puede agregar muchas más con múltiples MultipleOutputs.Método addNamedOutput: String namedOutput es solo una palabra que describe.Usted define la ruta realmente en el método de escritura, el argumento String baseOutputPath.