Estoy mirando la función de diapositiva de ventana para un Spark DataFrame en Spark SQL, Scala.

Tengo un marco de datos con columnas Col1, Col1, Col1, fecha.

Col1    Col2    Col3    date     volume new_col
                        201601  100.5   
                        201602  120.6   100.5
                        201603  450.2   120.6
                        201604  200.7   450.2
                        201605  121.4   200.7`

Ahora quiero agregar una nueva columna con el nombre (new_col) con una fila deslizada hacia abajo, como se muestra arriba.

Intenté la siguiente opción para usar la función de ventana.

val windSldBrdrxNrx_df = df.withColumn("Prev_brand_rx", lag("Prev_brand_rx",1))

¿Alguien puede ayudarme a hacer esto?