Resultados de la búsqueda a petición "spark-streaming"
Cómo guardar / insertar cada DStream en una tabla permanente
He estado enfrentando un problema con "Spark Streaming" sobre la inserción de la salida Dstream en unpermanente Tabla SQL. Me gustaría insertar cada salida DStream (proveniente de un solo lote que genera procesos) en una tabla única. He estado ...
com.fasterxml.jackson.databind.JsonMappingException: la versión de Jackson es demasiado antigua 2.5.3
Mi sistema operativo es OS X 10.11.6. Estoy ejecutando Spark 2.0, Zeppelin 0.6, Scala 2.11 Cuando ejecuto este código en Zeppelin, recibo una excepción de Jackson. Cuando ejecuto este código en spark-shell, no hay excepción. val filestream = ...
Excepción al acceder a KafkaOffset desde RDD
Tengo un consumidor de Spark que se transmite desde Kafka. Estoy tratando de gestionar las compensaciones para la semántica de una sola vez. Sin embargo, al acceder al desplazamiento, arroja la siguiente ...
Agrupación de conexiones en una aplicación de streaming pyspark
¿Cuál es la forma correcta de usar grupos de conexión en una aplicación de streaming ...
Limite el tamaño de los lotes de Kafka cuando use Spark Streaming
¿Es posible limitar el tamaño de los lotes devueltos por el consumidor de Kafka para Spark Streaming? Lo pregunto porque el primer lote que obtengo tiene cientos de millones de registros y lleva años procesarlos y revisarlos.
El controlador de transmisión de Twitter Spark 2.0.0 ya no está disponible
Durante la migración de spark 1.6.2 a spark 2.0.0 apareció que el paquete org.apache.spark.streaming.twitter se ha eliminado y la transmisión de Twitter ya no está disponible, así como la dependencia <dependency> ...
java.io.NotSerializableException en Spark Streaming con checkpointing habilitado
código a continuación: def main(args: Array[String]) { val sc = new SparkContext val sec = Seconds(3) val ssc = new StreamingContext(sc, sec) ssc.checkpoint("./checkpoint") val rdd = ssc.sparkContext.parallelize(Seq("a","b","c")) val ...
¿ForeachRDD se ejecuta en el controlador?
Estoy tratando de procesar algunos datos XML recibidos en una cola JMS (QPID) usando Spark Streaming. Después de obtener xml como DStream, los convierto en Dataframes para poder unirlos con algunos de mis datos estáticos en forma de Dataframes ya ...
¿Cómo dejar de ejecutar la aplicación Spark Streaming con gracia?
¿Cómo detengo la transmisión por chispa? Mi trabajo de transmisión de chispas se ejecuta continuamente. Quiero parar de una manera elegante. He visto la siguiente opción para cerrar la aplicación de ...
Spark no imprime salidas en la consola dentro de la función de mapa
Tengo una aplicación Spark simple que se ejecuta en modo de clúster. val funcGSSNFilterHeader = (x: String) => { println(!x.contains("servedMSISDN") !x.contains("servedMSISDN") } val ssc = new StreamingContext(sc, Seconds(batchIntervalSeconds)) ...