spark + sbt-assembly: "deduplicar: diferentes contenidos de archivo encontrados en lo siguiente"
Ejecuté la aplicación de chispa y quiero empacar las clases de prueba en el tarro gordo. Lo extraño es que ejecuté "sbt assembly" con éxito, pero fallé cuando ejecuté "sbt test: assembly".
Lo intentésbt-assembly: incluyendo clases de prueba, no funcionó para mi caso.
Versión SBT: 0.13.8
build.sbt:
import sbtassembly.AssemblyPlugin._
name := "assembly-test"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies ++= Seq(
("org.apache.spark" % "spark-core_2.10" % "1.3.1" % Provided)
.exclude("org.mortbay.jetty", "servlet-api").
exclude("commons-beanutils", "commons-beanutils-core").
exclude("commons-collections", "commons-collections").
exclude("commons-logging", "commons-logging").
exclude("com.esotericsoftware.minlog", "minlog").exclude("com.codahale.metrics", "metrics-core"),
"org.json4s" % "json4s-jackson_2.10" % "3.2.10" % Provided,
"com.google.inject" % "guice" % "4.0"
)
Project.inConfig(Test)(assemblySettings)