Инициализировать RDD для очистки
У меня есть RDD под названием
JavaPairRDD<String, List<String>> existingRDD;
Теперь мне нужно инициализировать этоexistingRDD
опустошить, чтобы, когда я получу фактический RDD, я могу сделать союз с этимexistingRDD
, Как мне инициализироватьexistingRDD
пустому RDD кроме инициализации его к нулю? Вот мой код:
JavaPairRDD<String, List<String>> existingRDD;
if(ai.get()%10==0)
{
existingRDD.saveAsNewAPIHadoopFile("s3://manthan-impala-test/kinesis-dump/" + startTime + "/" + k + "/" + System.currentTimeMillis() + "/",
NullWritable.class, Text.class, TextOutputFormat.class); //on worker failure this will get overwritten
}
else
{
existingRDD.union(rdd);
}