Добавление двух RDD [mllib.linalg.Vector]
Мне нужно сложение двух матриц, которые хранятся в двух файлах.
Содержаниеlatest1.txt
а такжеlatest2.txt
имеет следующую стр:
1 2 3 4 5 6 7 8 9
Я читаю эти файлы следующим образом:
scala> val rows = sc.textFile(“latest1.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r1 = rows
r1: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
scala> val rows = sc.textFile(“latest2.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r2 = rows
r2: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
Я хочу добавить r1, r2. Итак, есть ли способ добавить эти дваRDD[mllib.linalg.Vector]
в Apache-Spark.