¿Cómo funciona la partición en Spark?
Estoy tratando de entender cómo se realiza la partición en Apache Spark. ¿Pueden ayudarme por favor?
Aquí está el escenario:
un maestro y dos nodos con 1 núcleo cada unoun archivocount.txt
de 10 MB de tamaño¿Cuántas particiones crea lo siguiente?
rdd = sc.textFile(count.txt)
¿El tamaño del archivo tiene algún impacto en el número de particiones?