Estou tentando criar e executar um projeto Scala / Spark no IntelliJ IDEA.

Eu adicioneiorg.apache.spark:spark-sql_2.11:2.0.0 em bibliotecas globais e meubuild.sbt se parece abaixo.

name := "test"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0"

Eu ainda recebo um erro que diz

artefato desconhecido. incapaz de resolver ou indexado

sobspark-sql.

Quando tentou criar o projeto, o erro foi

Erro: (19, 26) não encontrado: digite sqlContext, val sqlContext = new sqlContext (sc)

Não tenho ideia de qual poderia ser o problema. Como criar um projeto Spark / Scala no IntelliJ IDEA?

Atualizar: Seguindo as sugestões, atualizei o código para usarSpark Session, mas ainda não conseguiu ler um arquivo csv. O que eu estou fazendo errado aqui? Obrigado!

 val spark = SparkSession
.builder()
.appName("Spark example")
.config("spark.some.config.option", "some value")
.getOrCreate()

import spark.implicits._

val testdf = spark.read.csv("/Users/H/Desktop/S_CR_IP_H.dat")
testdf.show()  //it doesn't show anything 
//pdf.select("DATE_KEY").show()