MapReduceBase и Mapper устарели
public static class Map extends MapReduceBase implements Mapper
MapReduceBase
, Mapper
а такжеJobConf
устарели вHadoop 0.20.203.
Что мы должны использовать сейчас?
Редактировать 1 - дляMapper
иMapReduceBase
Я обнаружил, что нам просто нужно расширитьMapper
public static class Map extends Mapper
<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value,
OutputCollector<Text, IntWritable> output,
Reporter reporter) throws IOException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
output.collect(word, one);
}
}
}
Редактировать 2 - ДляJobConf
мы должны использовать конфигурацию так:
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf);
job.setMapperClass(WordCount.Map.class);
}
Редактировать 3 - я нашел хороший учебник по новому API:http://sonerbalkir.blogspot.com/2010/01/new-hadoop-api-020x.html