Вы можете вызвать UDF:
аюсь внедрить накопительный продукт в Spark Scala, но я действительно не знаю, как это сделать. У меня есть следующий фрейм данных:
Input data:
+--+--+--------+----+
|A |B | date | val|
+--+--+--------+----+
|rr|gg|20171103| 2 |
|hh|jj|20171103| 3 |
|rr|gg|20171104| 4 |
|hh|jj|20171104| 5 |
|rr|gg|20171105| 6 |
|hh|jj|20171105| 7 |
+-------+------+----+
И я хотел бы иметь следующий вывод
Output data:
+--+--+--------+-----+
|A |B | date | val |
+--+--+--------+-----+
|rr|gg|20171105| 48 | // 2 * 4 * 6
|hh|jj|20171105| 105 | // 3 * 5 * 7
+-------+------+-----+
Если у вас есть идеи о том, как это сделать, это было бы очень полезно :)
Большое спасибо