Obtener debajo de la excepción, cuando traté de realizar pruebas unitarias para mi código de transmisión de chispa en ventanas SBT usando scalatest.

sbt testOnly<<ClassName>>

*
*
*
*
*
*

2018-06-18 02:39:00 ERROR Ejecutor: 91 - Excepción en la tarea 1.0 en la etapa 3.0 (TID 11) java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream. (Ljava / io / InputStream; Z) V en org.apache.spark.io.LZ4CompressionCodec.compressedInputStream (CompressionCodec.scala: 122) en org.apache.spark.serializer.SerializerManager.wrapForCompression (SerializerManager.scala: 163) en org.apache.spark.serializer.SerializerManager. wrapStream (SerializerManager.scala: 124) en org.apache.spark.shuffle.BlockStoreShuffleReader $ anonfun $ 2.apply (BlockStoreShuffleReader.scala: 50) en org.apache.spark.shuffle.BlockStoreShuffleReader $ anonfun $ 2.applyR. scala: 50) en org.apache.spark.storage.ShuffleBlockFetcherIterator.next (ShuffleBlockFetcherIterator.scala: 417) en org.apache.spark.storage.ShuffleBlockFetcherIterator.next (ShuffleBlockFetcherIterator.scala. $: at). anon $ 12.nextCur (Iterator.scala: 435) en scala.collection.Iterator $ anon $ 12.hasNext (Iterator.scala: 441) en scala .collection.Iterator $ anon $ 11.hasNext (Iterator.scala: 409) en org.apache.spark.util.CompletionIterator.hasNext (CompletionIterator.scala: 32) en org.apache.spark.InterruptibleIterator.hasNext (InterruptibleIterator.scala : 37) en scala.collection.Iterator $ anon $ 11.hasNext (Iterator.scala: 409) en org.apache.spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIteratorForCodegenStage1.sort_addToSorter $ (Fuente desconocida) en org.apache. spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIteratorForCodegenStage1.processNext (Fuente desconocida) en org.apache.spark.sql.execution.BufferedRowIterator.hasNext (BufferedRowIterator.java:43) en org.apache.sparkgen.eqlc. $ anonfun $ 10 $ anon $ 1.hasNext (WholeStageCodegenExec.scala: 614) en org.apache.spark.sql.execution.GroupedIterator $ .apply (GroupedIterator.scala: 29) en org.apache.spark.sql.execution. streaming.FlatMapGroupsWithStateExec $ StateStoreUpdater.updateStateForKeysWithData (FlatMapGroupsWithStateExec.scala: 176) **

ntenté un par de cosas para excluir net.jpountz.lz4 jar (con sugerencias de otras publicaciones) pero nuevamente el mismo error en la salida.

Actualmente usando spark 2.3, scalatest 3.0.5, versión Scala 2.11. veo este problema solo después de la actualización a spark 2.3 y scalatest 3.0.5

Alguna sugerencia