Apache Spark: карта против mapPartitions?

Какие'Разница междуРДД-х map а такжеmapPartitions метод? И делаетflatMap вести себя какmap или какmapPartitions? Благодарю.

(редактировать), то есть какая разница (семантически или с точки зрения исполнения) между

  def map[A, B](rdd: RDD[A], fn: (A => B))
               (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = {
    rdd.mapPartitions({ iter: Iterator[A] => for (i  B))
               (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = {
    rdd.map(fn)
  }

Ответы на вопрос(3)

Ваш ответ на вопрос