Я ищу способ разделить RDD на два или более RDD. Самое близкое, что я видел, этоScala Spark: разбить коллекцию на несколько RDD? который все еще один RDD.

Если вы знакомы с SAS, примерно так:

data work.split1, work.split2;
    set work.preSplit;

    if (condition1)
        output work.split1
    else if (condition2)
        output work.split2
run;

что привело к двум отдельным наборам данных. Это должно быть немедленно сохранено, чтобы получить результаты, которые я намереваюсь ...