Tengo 64 núcleos de chispa. Tengo más de 80 millones de filas de datos que ascienden a 4,2 GB en mi clúster cassandra. Ahora necesito 82 segundos para procesar estos datos. Quiero que esto se reduzca a 8 segundos. Tiene alguna idea sobre esto? ¿Es esto posible? Gracias.

Esta es la parte de mi aplicación de chispa que quiero mejorar:

axes = sqlContext.read.format("org.apache.spark.sql.cassandra")\
    .options(table="axes", keyspace=source, numPartitions="192").load()\
    .repartition(64*3)\
    .reduceByKey(lambda x,y:x+y,52)\
    .map(lambda x:(x.article,[Row(article=x.article,at=x.at,comments=x.comments,likes=x.likes,reads=x.reads,shares=x.shares)]))\
    .map(lambda x:(x[0],sorted(x[1],key=lambda y:y.at,reverse = False))) \
    .filter(lambda x:len(x[1])>=2) \
    .map(lambda x:x[1][-1])

Editar:

Este es el código que estoy ejecutando actualmente, el publicado anteriormente fue un experimento, perdón por la confusión. La pregunta anterior se relaciona con este código.

axes = sqlContext.read.format("org.apache.spark.sql.cassandra").options(table="axes", keyspace=source).load().repartition(64*3) \
                    .map(lambda x:(x.article,[Row(article=x.article,at=x.at,comments=x.comments,likes=x.likes,reads=x.reads,shares=x.shares)])).reduceByKey(lambda x,y:x+y)\
                    .map(lambda x:(x[0],sorted(x[1],key=lambda y:y.at,reverse = False))) \
                    .filter(lambda x:len(x[1])>=2) \
                    .map(lambda x:x[1][-1])

Gracias