Большое спасибо за совет, Был еще один проект, где мне нужно добавить это исключение. После этого все заработало.

чение ниже, когда я попытался выполнить модульные тесты для своего кода потоковой передачи искры в окнах SBT, используя самое масштабное.

sbt testOnly<<ClassName>>

*
*
*
*
*
*

2018-06-18 02:39:00 ОШИБКА Исполнитель: 91 - Исключение в задаче 1.0 на этапе 3.0 (TID 11) java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream. (Ljava / io / InputStream; Z) V в org.apache.spark.io.LZ4CompressionCodec.compressedInputStream (CompressionCodec.scala: 122) в org.apache.spark.serializer.SerializerManager.wrapForCompression (SerializerManager.scala: 163) в org.apache.spark.seizerizer.wark (SerializerManager.scala: 124) в org.apache.spark.shuffle.BlockStoreShuffleReader $ anonfun $ 2.apply (BlockStoreShuffleReader.scala: 50) в org.apache.spark.shuffle.BlockStoreShuffleReader $ anonfunStoreSapply (2. $. : 50) в org.apache.spark.storage.ShuffleBlockFetcherIterator.next (ShuffleBlockFetcherIterator.scala: 417) в org.apache.spark.storage.ShuffleBlockFetcherIterator.next (ShuffleBlockFetcherIterator.tekalite.scala 61). $ 12.nextCur (Iterator.scala: 435) в scala.collection. Итератор $ anon $ 12.hasNext (Iterator.scala: 441) в scala. collection.Iterator $ anon $ 11. 37) в scala.collection.Iterator $ anon $ 11.hasNext (Iterator.scala: 409) в org.apache.spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIteratorForCodegenStage1.sort_addToSorter $ (неизвестный источник) в org.apache.spark « $ anonfun $ 10 $ anon $ 1.hasNext (WholeStageCodegenExec.scala: 614) в org.apache.spark.sql.execution.GroupedIterator $ .apply (GroupedIterator.scala: 29) в org.apache.spark.sql.execution.streaming .FlatMapGroupsWithStateExec $ StateStoreUpdater.updateStateForKeysWithData (FlatMapGroupsWithStateExec.scala: 176) **

Пробовал несколько вещей, чтобы исключить jar net.jpountz.lz4 (с предложениями из других постов), но опять та же ошибка в выводе.

В настоящее время используется spark 2.3, scalatest 3.0.5, версия Scala 2.11. я вижу эту проблему только после обновления до версии 2.3 и 3.0.5

Какие-либо предложения ?

Ответы на вопрос(1)

Ваш ответ на вопрос