¿Cómo transponer el marco de datos en Spark 1.5 (sin operador de pivote disponible)?
Quiero transponer la siguiente tabla usando spark scala sin la función Pivot
Estoy usando Spark 1.5.1 y la función Pivot no es compatible con 1.5.1. Sugiera un método adecuado para transponer la siguiente tabla:
Customer Day Sales
1 Mon 12
1 Tue 10
1 Thu 15
1 Fri 2
2 Sun 10
2 Wed 5
2 Thu 4
2 Fri 3
Tabla de salida:
Customer Sun Mon Tue Wed Thu Fri
1 0 12 10 0 15 2
2 10 0 0 5 4 3
El siguiente código no funciona ya que estoy usando Spark 1.5.1 y la función pivote está disponible en Spark 1.6:
var Trans = Cust_Sales.groupBy("Customer").Pivot("Day").sum("Sales")