Как получить доступ к значению счетчика Mapper в редукторе?
Я хочу получить доступ к значению myCounter.my в редукторе:
public static class Map extends Mapper<LongWritable, Text, ImmutableBytesWritable, ImmutableBytesWritable>
{
public static enum myCounter{my};
@Override
public void map(LongWritable key, Text value, Context context)
{
context.getCounter(myCounter.my).increment(1);
context.write( new ImmutableBytesWritable ( ),new ImmutableBytesWritable() );
}
}
public static class Reduce extends Reducer<ImmutableBytesWritable, ImmutableBytesWritable, Text, Text>
{
@Override
public void reduce(ImmutableBytesWritable key,Iterable<ImmutableBytesWritable> result,Context context)
{
}
}
Доступ к счетчику картографа из редуктора (для старого API предоставляется) как заставить это работать для нового API?
Or
Я хочу знать общее количество вывода картографа? Есть ли лучший способ? (Я не могу получить доступ к счетчику в редукторе:
Group Name->org.apache.hadoop.mapred.Task$Counter Counter Name->MAP_OUTPUT_RECORDS
)
Спасибо