Agregue la columna Número de días a la Columna Fecha en el mismo marco de datos para la aplicación Spark Scala
tengo undataframe
df decolumns
("id", "current_date", "days")
y estoy tratando de agregar el "days
" a "current_date
"y crear un nuevodataframe
con nuevocolumn
llamado "new_date
"usando la función spark scaladate_add()
val newDF = df.withColumn("new_Date", date_add(df("current_date"), df("days").cast("Int")))
Pero parece que la funcióndate_add
solo aceptaInt
valores y nocolumns
. ¿Cómo puede obtener la salida deseada en tal caso? ¿Hay alguna función alternativa que pueda usar para obtener el resultado deseado?
versión de chispa: 1.6.0 versión de scala: 2.10.6