Eu sei que podemos usarFunção de janela no pyspark para calcular a soma acumulada. Mas Window é suportado apenas no HiveContext e não no SQLContext. Preciso usar o SQLContext, pois o HiveContext não pode ser executado em vários processos.

Existe alguma maneira eficiente de calcular a soma acumulada usando o SQLContext? Uma maneira simples é carregar os dados na memória do driver e usar numpy.cumsum, mas o contrário é que os dados precisam poder caber na memória