Spark DataFrame particionador es Ninguno
[Nuevo en Spark] Después de crear un DataFrame, estoy tratando de particionarlo en base a una columna en el DataFrame. Cuando reviso el particionador usandodata_frame.rdd.partitioner
Yo obtengoNingun como salida.
Particionamiento usando ->
data_frame.repartition("column_name")
Según la documentación de Spark, el particionador predeterminado es HashPartitioner, ¿cómo puedo confirmar eso?
Además, ¿cómo puedo cambiar el particionador?