Adición de dos RDD [mllib.linalg.Vector]
Necesito agregar dos matrices que se almacenan en dos archivos.
El contenido delatest1.txt
ylatest2.txt
tiene el siguiente str:
1 2 3 4 5 6 7 8 9
Estoy leyendo esos archivos de la siguiente manera:
scala> val rows = sc.textFile(“latest1.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r1 = rows
r1: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
scala> val rows = sc.textFile(“latest2.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r2 = rows
r2: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
Quiero agregar r1, r2. Entonces, ¿hay alguna forma de agregar estos dosRDD[mllib.linalg.Vector]
s en Apache-Spark.