Adição de dois RDD [mllib.linalg.Vector]
Eu preciso da adição de duas matrizes que são armazenadas em dois arquivos.
O conteúdo delatest1.txt
elatest2.txt
tem o próximo str:
1 2 3 4 5 6 7 8 9
Estou lendo esses arquivos da seguinte maneira:
scala> val rows = sc.textFile(“latest1.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r1 = rows
r1: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
scala> val rows = sc.textFile(“latest2.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r2 = rows
r2: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
Eu quero adicionar r1, r2. Então, existe alguma maneira de adicionar esses doisRDD[mllib.linalg.Vector]
s no Apache-Spark.