Wie funktioniert die Funktion pyspark mapPartitions?

So versuche ich Spark mit Python (Pyspark) zu lernen. Ich möchte wissen, wie die FunktionmapPartitions Arbeit. Das ist der Input und der Output, den es gibt. Ich konnte kein richtiges Beispiel aus dem Internet finden. Nehmen wir an, ich habe ein RDD-Objekt, das Listen wie die folgenden enthält.

[ [1, 2, 3], [3, 2, 4], [5, 2, 7] ] 

Und ich möchte Element 2 aus allen Listen entfernen. Wie würde ich das mit @ erreichemapPartitions.

Antworten auf die Frage(3)

Ihre Antwort auf die Frage