Resultados de la búsqueda a petición "spark-streaming"
¿Cómo usar Scala y Python en un mismo proyecto Spark?
¿Es eso posible canalizar?Spark RDDa Python? Porque necesito una biblioteca de Python para hacer algunos cálculos en mis datos, pero mi proyecto principal de Spark se basa en Scala. ¿Hay alguna manera de mezclarlos a ambos o dejar que Python ...
Spark streaming StreamingContext.start () - Error al iniciar el receptor 0
Tengo un proyecto que está utilizando la transmisión por chispa y lo estoy ejecutando con 'spark-submit', pero estoy recibiendo este error: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
Spark Streaming Recuento acumulado de palabras
Este es un programa de transmisión por chispa escrito en scala. Cuenta la cantidad de palabras de un socket en cada 1 segundo. El resultado sería el recuento de palabras, por ejemplo, el recuento de palabras del tiempo 0 al 1, y el recuento de ...
Error de 'Conexión rechazada' al ejecutar Spark Streaming en la máquina local
Sé que ya hay muchos hilos sobre problemas de 'conexión de transmisión de chispa rechazada'. Pero la mayoría de estos están en Linux o al menos apuntan a HDFS. Estoy ejecutando esto en mi computadora portátil local con Windows. Estoy ejecutando ...
Cómo guardar / insertar cada DStream en una tabla permanente
He estado enfrentando un problema con "Spark Streaming" sobre la inserción de la salida Dstream en unpermanente Tabla SQL. Me gustaría insertar cada salida DStream (proveniente de un solo lote que genera procesos) en una tabla única. He estado ...
spark ssc.textFileStream no está actualizando ningún archivo del directorio
Estoy tratando de ejecutar el siguiente código usando eclipse (con maven conf) con 2 trabajadores y cada uno tiene 2 núcleos o también probé con spark-submit. public class StreamingWorkCount implements Serializable { public static ...
¿Cómo filtrar dstream usando la operación de transformación y RDD externo?
solíatransform método en un caso de uso similar al descrito enOperación de transformaciónSección deTransformaciones en DStreams [https://spark.apache.org/docs/1.4.0/streaming-programming-guide.html#transformations-on-dstreams] : spamInfoRDD = ...
Excepción al acceder a KafkaOffset desde RDD
Tengo un consumidor de Spark que se transmite desde Kafka. Estoy tratando de gestionar las compensaciones para la semántica de una sola vez. Sin embargo, al acceder al desplazamiento, arroja la siguiente ...
Spark Structured Streaming con integración Hbase
Estamos haciendo streaming de datos kafka que se recopilan de MySQL. Ahora, una vez que se hayan realizado todos los análisis, quiero guardar mis datos directamente en Hbase. Tengo a través del documento de transmisión estructurado por chispa, ...
Prepare la instrucción por lotes para almacenar todo el rdd a mysql generado a partir de la transmisión por chispa
Estoy tratando de insertar los RDD por lotes generados a partir de Dstream usando spark-streaming en mysql. El siguiente código funciona bien, pero el problema es que estoy creando una conexión para almacenar cada tupla. Entonces, para evitar que ...