Exceção Getting Below, quando tentei realizar testes de unidade para o meu código de fluxo spark no Windows SBT usando o scalatest.

sbt testOnly<<ClassName>>

*
*
*
*
*
*

2018-06-18 02:39:00 ERRO Executor: 91 - Exceção na tarefa 1.0 no estágio 3.0 (TID 11) java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream. (Ljava / io / InputStream; Z) V em org.apache.spark.io.LZ4CompressionCodec.compressedInputStream (CompressionCodec.scala: 122) em org.apache.spark.serializer.SerializerManager.wrapForCompression (SerializerManager.scala: 163) em org.apache.spark.serializer.SerializerManager.wrapStream (SerializerManager.scala: 124) em org.apache.spark.shuffle.BlockStoreShuffleReader $ anonfun $ 2.apply (BlockStoreShuffleReader.scala: 50) em org.apache.spark.shuffle.BlockStoreShuffleReader $ anonfun $ 2.apply (BlockStoreShuffle : 50) em org.apache.spark.storage.ShuffleBlockFetcherIterator.next (ShuffleBlockFetcherIterator.scala: 417) em org.apache.spark.storage.ShuffleBlockFetcherIterator.next (ShuffleBlockFetcherIterator.scala: 61) em scala.collection.Iterator. $ 12.nextCur (Iterator.scala: 435) na scala.collection.Iterator $ a partir de $ 12.temNext (Iterator.scala: 441) na scala. collection.Iterator $ anon $ 11.hasNext (Iterator.scala: 409) em org.apache.spark.util.CompletionIterator.hasNext (CompletionIterator.scala: 32) em org.apache.spark.InterruptibleIterator.hasNext (InterruptibleIterator.scala: 37) em scala.collection.Iterator $ e $ 11.hasNext (Iterator.scala: 409) em org.apache.spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIteratorForCodegenStage1.sort_addToSorter $ (Origem desconhecida) em org.apache.spark .sql.catalyst.expressions.GeneratedClass $ GeneratedIteratorForCodegenStage1.processNext (fonte desconhecida) em org.apache.spark.sql.execution.BufferedRowIterator.hasNext (BufferedRowIterator.java:43) em org.apache.seg.sql.exage $ anonfun $ 10 $ anon $ 1.hasNext (WholeStageCodegenExec.scala: 614) em org.apache.spark.sql.execution.GroupedIterator $ .apply (GroupedIterator.scala: 29) em org.apache.spark.sql.execution.streaming .FlatMapGroupsWithStateExec $ StateStoreUpdater.updateStateForKeysWithData (FlatMapGroupsWithStateExec.scala: 176) **

Tentei algumas coisas para excluir o jar net.jpountz.lz4 (com sugestões de outras postagens), mas novamente o mesmo erro na saída.

Atualmente usando o spark 2.3, scalatest 3.0.5, versão Scala 2.11. vejo esse problema somente após a atualização para o spark 2.3 e o scalatest 3.0.5

Alguma sugestão ?