Вывод списка из Hadoop Map Reduce, используя настраиваемые записи
я пытаюсь создать простую карту, чтобы сократить работу, изменив пример wordcount, заданный hadoop.I '
Я пытаюсь выставить список вместо количества слов. Пример wordcount дает следующий ouputI '
hello 2
world 2
я пытаюсь вывести его в виде списка, который станет основой будущей работы
hello 1 1
world 1 1
Я думаю я'м на правильном пути, но яУ меня проблемы с написанием списка. Вместо вышесказанного яя получаю
Hello foo.MyArrayWritable@61250ff2
World foo.MyArrayWritable@483a0ab1
Вот'Мой MyArrayWritable. Я поставил систему вwrite(DataOuptut arg0)
но он никогда ничего не выводит, так что я думаю, что метод не может быть вызван, и я нене знаю почему.
class MyArrayWritable extends ArrayWritable{
public MyArrayWritable(Class valueClass, Writable[] values) {
super(valueClass, values);
}
public MyArrayWritable(Class valueClass) {
super(valueClass);
}
@Override
public IntWritable[] get() {
return (IntWritable[]) super.get();
}
@Override
public void write(DataOutput arg0) throws IOException {
for(IntWritable i : get()){
i.write(arg0);
}
}
}
РЕДАКТИРОВАТЬ - добавить больше исходного кода}
public class WordCount {
public static class Map extends Mapper {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}
}
}
public static class Reduce extends Reducer {
public void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
ArrayList list = new ArrayList();
for (IntWritable val : values) {
list.add(val);
}
context.write(key, new MyArrayWritable(IntWritable.class, list.toArray(new IntWritable[list.size()])));
}
}
public static void main(String[] args) throws Exception {
if(args == null || args.length == 0)
args = new String[]{"./wordcount/input","./wordcount/output"};
Path p = new Path(args[1]);
FileSystem fs = FileSystem.get(new Configuration());
fs.exists(p);
fs.delete(p, true);
Configuration conf = new Configuration();
Job job = new Job(conf, "wordcount");
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setJarByClass(WordCount.class);
job.setInputFormatClass(TextInputFormat.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
}