Eu estou olhando para a função de slide da janela para um Spark DataFrame no Spark SQL, Scala.

Eu tenho um dataframe com colunas Col1, Col1, Col1, data.

Col1    Col2    Col3    date     volume new_col
                        201601  100.5   
                        201602  120.6   100.5
                        201603  450.2   120.6
                        201604  200.7   450.2
                        201605  121.4   200.7`

Agora, quero adicionar uma nova coluna com o nome (new_col) com uma linha deslizada para baixo, como mostrado acima.

Eu tentei abaixo opção para usar a função de janela.

val windSldBrdrxNrx_df = df.withColumn("Prev_brand_rx", lag("Prev_brand_rx",1))

Alguém por favor pode me ajudar a como fazer isso.