Spark union de múltiples RDD
En mi código de cerdo hago esto:
all_combined = Union relation1, relation2,
relation3, relation4, relation5, relation 6.
Quiero hacer lo mismo con chispa. Sin embargo, desafortunadamente, veo que tengo que seguir haciéndolo por pares:
first = rdd1.union(rdd2)
second = first.union(rdd3)
third = second.union(rdd4)
# .... and so on
¿Existe un operador sindical que me permita operar en múltiples CDR a la vez?
p.ej.union(rdd1, rdd2,rdd3, rdd4, rdd5, rdd6)
Es una cuestión de conveniencia.