Estou recebendo o erro:

org.apache.spark.sql.analysisexception: cannot resolve 'year'

Meus dados de entrada:

1,2012-07-21,2014-04-09

Meu código:

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql._
import org.apache.spark.sql.functions._
case class c (id:Int,start:String,end:String)
val c1 = sc.textFile("date.txt")
val c2 = c1.map(_.split(",")).map(r=>(c(r(0).toInt,r(1).toString,r(2).toString)))
val c3 = c2.toDF();
c3.registerTempTable("c4")
val r = sqlContext.sql("select id,datediff(year,to_date(end), to_date(start)) AS date from c4")

O que posso fazer para resolver o erro acima?

Eu tentei o código a seguir, mas obtive a saída em dias e preciso em anos

val r = sqlContext.sql("select id,datediff(to_date(end), to_date(start)) AS date from c4")

Por favor, informe-me se eu puder usar qualquer função como to_date para obter a diferença de ano.