Es el comportamiento predeterminado de Hadoop MapReduce shuffle ordenar la clave aleatoria dentro de la partición, pero no las particiones cruzadas (es el orden total que hace que las teclas ordenadas crucen las particiones)

Preguntaría cómo lograr lo mismo usando Spark RDD (ordenar dentro de Partición, pero no ordenar cruzar las particiones)

RDD'ssortByKey el método está haciendo un pedido totalRDD'srepartitionAndSortWithinPartitions está ordenando dentro de la partición pero no entre particiones cruzadas, pero desafortunadamente agrega un paso adicional para hacer la partición.

¿Hay una manera directa de ordenar dentro de la partición pero no de particiones cruzadas?