Ist es möglich, json4s 3.2.11 mit Spark 1.3.0 zu verwenden?
Spark hat eine Abhängigkeit von json4s 3.2.10, aber diese Version hat mehrere Fehler und ich muss 3.2.11 verwenden. Ich habe json4s-native 3.2.11-Abhängigkeit zu build.sbt hinzugefügt und alles gut kompiliert. Aber wenn ich meine JAR per Funk einreiche, erhalte ich die Version 3.2.10.
build.sbt
import sbt.Keys._
name := "sparkapp"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.0" % "provided"
libraryDependencies += "org.json4s" %% "json4s-native" % "3.2.11"`
plugins.sbt
logLevel := Level.Warn
resolvers += Resolver.url("artifactory", url("http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases"))(Resolver.ivyStylePatterns)
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")
App1.scala
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.{Logging, SparkConf, SparkContext}
import org.apache.spark.SparkContext._
object App1 extends Logging {
def main(args: Array[String]) = {
val conf = new SparkConf().setAppName("App1")
val sc = new SparkContext(conf)
println(s"json4s version: ${org.json4s.BuildInfo.version.toString}")
}
}
sbt 0.13.7 + sbt-assembly 0.13.0 Scala 2.10.4
Gibt es eine Möglichkeit, die Verwendung der Version 3.2.11 zu erzwingen?