Spark Vereinigung mehrerer RDDs
In meinem Schweinecode mache ich das:
all_combined = Union relation1, relation2,
relation3, relation4, relation5, relation 6.
Ich möchte dasselbe mit spark machen. Allerdings sehe ich leider, dass ich es paarweise weiter machen muss:
first = rdd1.union(rdd2)
second = first.union(rdd3)
third = second.union(rdd4)
# .... and so on
Ist da ein Gewerkschaftsoperator, mit dem ich mehrere Festplatten gleichzeitig bearbeiten kann?
z.B.union(rdd1, rdd2,rdd3, rdd4, rdd5, rdd6)
Es ist eine Frage der Bequemlichkeit.