Resultados de la búsqueda a petición "spark-streaming"
¿Cómo usar Scala y Python en un mismo proyecto Spark?
¿Es eso posible canalizar?Spark RDDa Python? Porque necesito una biblioteca de Python para hacer algunos cálculos en mis datos, pero mi proyecto principal de Spark se basa en Scala. ¿Hay alguna manera de mezclarlos a ambos o dejar que Python ...
Spark Streaming en EC2: Excepción en el hilo "main" java.lang.ExceptionInInitializerError
Estoy tratando de ejecutar spark-submit en un archivo jar que creé. Cuando lo ejecuto localmente en mi máquina, funciona correctamente, pero cuando se implementa en Amazon EC2, devuelve el siguiente error. root@ip-172-31-47-217 bin]$ ...
Evitar la pérdida de datos cuando los consumidores lentos fuerzan la contrapresión en el procesamiento del flujo (chispa, aws)
Soy nuevo en el procesamiento de flujo distribuido (Spark). He leído algunos tutoriales / ejemplos que cubren cómo los resultados de la contrapresión en la desaceleración del productor (s) en respuesta a los consumidores sobrecargados. El ejemplo ...
Spark Worker no puede conectarse a Master
Al iniciar el nodo de trabajo me sale el siguiente error: Spark Command: /usr/lib/jvm/default-java/bin/java ...
Problema de dependencia de Scala Fat Jar mientras se envía el trabajo
He escrito una secuencia de kafka simple usando Scala. Está funcionando bien en local. Tomé un tarro gordo y lo presenté en el clúster scala. Recibo un error de clase no encontrada después de enviar el trabajo. si extraigo el tarro gordo, tiene ...
Manejo de excepciones no capturadas en Spark
Estoy trabajando en una aplicación Spark Streaming basada en Java que responde a mensajes que llegan a través de un tema de Kafka. Para cada mensaje, la aplicación procesa un poco y escribe los resultados en un tema diferente de Kafka. A veces, ...
¿Cómo puedo actualizar una variable de transmisión en la transmisión por chispa?
Tengo, creo, un caso de uso relativamente común para la transmisión por chispa: Tengo una secuencia de objetos que me gustaría filtrar en función de algunos datos de referencia Inicialmente, pensé que esto sería algo muy simple de lograr usando ...
No se pudieron encontrar líderes para Set ([TOPICNNAME, 0])) Cuando estamos usando Apache Saprk
Estamos usando Apache Spark 1.5.1 y kafka_2.10-0.8.2.1 y Kafka DirectStream API para obtener datos de Kafka usando Spark. Creamos los temas en Kafka con la siguiente configuración ReplicationFactor: 1 y Replica: 1 Cuando se ejecutan todas las ...
Spark: procesando múltiples temas kafka en paralelo
estoy usandospark 1.5.2. Necesito ejecutar un trabajo de transmisión por chispa con kafka como fuente de transmisión. Necesito leer de múltiples temas dentro de kafka y procesar cada tema de manera diferente. ¿Es una buena idea hacer esto en el ...
spark-submit: --jars no funciona
Estoy creando un sistema de métricas para el trabajo de Spark Streaming, en el sistema, las métricas se recopilan en cada ejecutor, por lo que se debe inicializar una fuente de métricas (una clase utilizada para recopilar métricas) en cada ...