Как работает функция pyspark mapPartitions?

Поэтому я пытаюсь изучить Spark, используя Python (Pyspark). Я хочу знать, как работает функцияmapPartitions Работа. Это то, что ввод и что он дает. Я не мог найти подходящий пример из интернета. Допустим, у меня есть объект RDD, содержащий списки, такие как ниже.

[ [1, 2, 3], [3, 2, 4], [5, 2, 7] ] 

И я хочу удалить элемент 2 из всех списков, как бы я добиться этого с помощьюmapPartitions.

Ответы на вопрос(3)

Ваш ответ на вопрос