Ist es möglich, json4s 3.2.11 mit Spark 1.3.0 zu verwenden?

Spark hat eine Abhängigkeit von json4s 3.2.10, aber diese Version hat mehrere Fehler und ich muss 3.2.11 verwenden. Ich habe json4s-native 3.2.11-Abhängigkeit zu build.sbt hinzugefügt und alles gut kompiliert. Aber wenn ich meine JAR per Funk einreiche, erhalte ich die Version 3.2.10.

build.sbt

import sbt.Keys._

name := "sparkapp"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core"  % "1.3.0" % "provided"

libraryDependencies += "org.json4s" %% "json4s-native" % "3.2.11"`

plugins.sbt

logLevel := Level.Warn

resolvers += Resolver.url("artifactory", url("http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases"))(Resolver.ivyStylePatterns)

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

App1.scala

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.{Logging, SparkConf, SparkContext}
import org.apache.spark.SparkContext._

object App1 extends Logging {
  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("App1")
    val sc = new SparkContext(conf)
    println(s"json4s version: ${org.json4s.BuildInfo.version.toString}")
  }
}

sbt 0.13.7 + sbt-assembly 0.13.0 Scala 2.10.4

Gibt es eine Möglichkeit, die Verwendung der Version 3.2.11 zu erzwingen?

Antworten auf die Frage(6)

Ihre Antwort auf die Frage