Я пытаюсь использовать twitterUtils в Spark Shell (где они не доступны по умолчанию).

Я добавил следующее кspark-env.sh:

SPARK_CLASSPATH="/disk.b/spark-master-2014-07-28/external/twitter/target/spark-streaming-twitter_2.10-1.1.0-SNAPSHOT.jar"

Теперь я могу выполнить

import org.apache.spark.streaming.twitter._
import org.apache.spark.streaming.StreamingContext._

без ошибки в оболочке, что было бы невозможно без добавления jar в classpath («ошибка: объект twitter не является членом пакета org.apache.spark.streaming»). Тем не менее, я получу ошибку при выполнении этого в оболочке Spark:

scala> val ssc = new StreamingContext(sc, Seconds(1))
ssc: org.apache.spark.streaming.StreamingContext =
org.apache.spark.streaming.StreamingContext@6e78177b

scala> val tweets = TwitterUtils.createStream(ssc, "twitter.txt")
error: bad symbolic reference. A signature in TwitterUtils.class refers to
term twitter4j in package <root> which is not available.
It may be completely missing from the current classpath, or the version on the classpath might be incompatible with the version used when compiling
TwitterUtils.class.

Что мне не хватает? Должен ли я импортировать другую банку?