Количество разделов в RDD и производительность в Spark

В Pyspark я могу создать RDD из списка и решить, сколько разделов иметь:

sc = SparkContext()
sc.parallelize(xrange(0, 10), 4)

Как количество разделов, которые я решил разделить на моем СДР, влияет на производительность? И как это зависит от количества ядер на моей машине?

Ответы на вопрос(2)

Ваш ответ на вопрос