Как работает функция pyspark mapPartitions?
Поэтому я пытаюсь изучить Spark, используя Python (Pyspark). Я хочу знать, как работает функцияmapPartitions
Работа. Это то, что ввод и что он дает. Я не мог найти подходящий пример из интернета. Допустим, у меня есть объект RDD, содержащий списки, такие как ниже.
[ [1, 2, 3], [3, 2, 4], [5, 2, 7] ]
И я хочу удалить элемент 2 из всех списков, как бы я добиться этого с помощьюmapPartitions
.