Addition von zwei RDDs [mllib.linalg.Vector] 's
Ich muss zwei Matrizen hinzufügen, die in zwei Dateien gespeichert sind.
Der Inhalt vonlatest1.txt
undlatest2.txt
hat den nächsten str:
1 2 3 4 5 6 7 8 9
Ich lese diese Dateien wie folgt:
scala> val rows = sc.textFile(“latest1.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r1 = rows
r1: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
scala> val rows = sc.textFile(“latest2.txt”).map { line => val values = line.split(‘ ‘).map(_.toDouble)
Vectors.sparse(values.length,values.zipWithIndex.map(e => (e._2, e._1)).filter(_._2 != 0.0))
}
scala> val r2 = rows
r2: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MappedRDD[2] at map at :14
Ich möchte r1, r2 hinzufügen. Also, gibt es eine Möglichkeit, diese beiden @ hinzuzufügRDD[mllib.linalg.Vector]
s in Apache-Spark.