Recibo el error:

org.apache.spark.sql.analysisexception: cannot resolve 'year'

Mis datos de entrada:

1,2012-07-21,2014-04-09

Mi código:

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql._
import org.apache.spark.sql.functions._
case class c (id:Int,start:String,end:String)
val c1 = sc.textFile("date.txt")
val c2 = c1.map(_.split(",")).map(r=>(c(r(0).toInt,r(1).toString,r(2).toString)))
val c3 = c2.toDF();
c3.registerTempTable("c4")
val r = sqlContext.sql("select id,datediff(year,to_date(end), to_date(start)) AS date from c4")

¿Qué puedo hacer para resolver el error anterior?

He probado el siguiente código pero obtuve el resultado en días y lo necesito en años

val r = sqlContext.sql("select id,datediff(to_date(end), to_date(start)) AS date from c4")

Avíseme si puedo usar alguna función como to_date para obtener la diferencia de año.