Estoy tratando de usar twitterUtils en Spark Shell (donde no están disponibles de forma predeterminada).

He agregado lo siguiente aspark-env.sh:

SPARK_CLASSPATH="/disk.b/spark-master-2014-07-28/external/twitter/target/spark-streaming-twitter_2.10-1.1.0-SNAPSHOT.jar"

Ahora puedo ejecutar

import org.apache.spark.streaming.twitter._
import org.apache.spark.streaming.StreamingContext._

sin un error en el shell, lo que no sería posible sin agregar el jar al classpath ("error: el objeto twitter no es miembro del paquete org.apache.spark.streaming"). Sin embargo, obtendré un error al ejecutar esto en el shell de Spark:

scala> val ssc = new StreamingContext(sc, Seconds(1))
ssc: org.apache.spark.streaming.StreamingContext =
org.apache.spark.streaming.StreamingContext@6e78177b

scala> val tweets = TwitterUtils.createStream(ssc, "twitter.txt")
error: bad symbolic reference. A signature in TwitterUtils.class refers to
term twitter4j in package <root> which is not available.
It may be completely missing from the current classpath, or the version on the classpath might be incompatible with the version used when compiling
TwitterUtils.class.

¿Qué me estoy perdiendo? ¿Tengo que importar otro frasco?