Então, eu estou tentando aprender o Spark usando Python (Pyspark). Eu quero saber como a funçãomapPartitions trabalhos. Isso é o que é necessário e o que é gerado. Não consegui encontrar nenhum exemplo adequado da internet. Digamos, eu tenho um objeto RDD contendo listas, como abaixo.

[ [1, 2, 3], [3, 2, 4], [5, 2, 7] ] 

E eu quero remover o elemento 2 de todas as listas, como eu conseguiria isso usandomapPartitions.