Apache Spark: карта против mapPartitions?
Какие'Разница междуРДД-х map
а такжеmapPartitions
метод? И делаетflatMap
вести себя какmap
или какmapPartitions
? Благодарю.
(редактировать), то есть какая разница (семантически или с точки зрения исполнения) между
def map[A, B](rdd: RDD[A], fn: (A => B))
(implicit a: Manifest[A], b: Manifest[B]): RDD[B] = {
rdd.mapPartitions({ iter: Iterator[A] => for (i B))
(implicit a: Manifest[A], b: Manifest[B]): RDD[B] = {
rdd.map(fn)
}