Resultados de la búsqueda a petición "spark-streaming"
Spark Streaming: cómo no reiniciar el receptor después de la falla del receptor
Estamos utilizando un receptor de chispa personalizado que lee los datos transmitidos desde un enlace http proporcionado. Si el enlace http proporcionado es incorrecto, el receptor falla. El problema es que la chispa reiniciará continuamente el ...
Prepare la instrucción por lotes para almacenar todo el rdd a mysql generado a partir de la transmisión por chispa
Estoy tratando de insertar los RDD por lotes generados a partir de Dstream usando spark-streaming en mysql. El siguiente código funciona bien, pero el problema es que estoy creando una conexión para almacenar cada tupla. Entonces, para evitar que ...
obtener el tema del mensaje kafka en chispa
En nuestro trabajo de transmisión de chispas, leemos mensajes en transmisión desde kafka. Para esto, usamos elKafkaUtils.createDirectStream API que devuelveJavaPairInputDStreamfrom. Los mensajes se leen de kafka (de tres temas: prueba1, ...
Esta transmisión por chispa funciona tanto con "cp" como con "mv"
Estoy usando la transmisión por chispa Mi programa lee continuamente secuencias de una carpeta de hadoop. El problema es que si copio a mi carpeta de hadoop (hadoop fs -copyFromLocal), el trabajo inicial comienza pero si me muevo (hadoop fs -mv ...
Continuamente INFO JobScheduler: 59 - Se agregaron trabajos por tiempo *** ms en mi Spark Standalone Cluster
Estamos trabajando con Spark Standalone Cluster con 8 núcleos y 32 GB de RAM, con 3 nodos con la misma configuración. Algunas veces, el lote de transmisión se completó en menos de 1 segundo. algunas veces lleva más de 10 segundos en ese momento ...
Spark Streaming mapWithState parece reconstruir el estado completo periódicamente
Estoy trabajando en un proyecto de transmisión Scala (2.11) / Spark (1.6.1) y estoy usandomapWithState() para realizar un seguimiento de los datos vistos de lotes anteriores. El estado se distribuye en 20 particiones en múltiples nodos, ...
Cómo convertir datos de Spark Streaming en Spark DataFrame
Hasta ahora, Spark no ha creado el DataFrame para la transmisión de datos, pero cuando estoy haciendo la detección de anomalías, es más conveniente y rápido usar DataFrame para el análisis de datos. He hecho esta parte, pero cuando trato de hacer ...
Spark Streaming: ¿Cómo puedo agregar más particiones a mi DStream?
Tengo una aplicación de transmisión por chispa que se ve así: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ ...
La interfaz de usuario de Spark muestra 0 núcleos incluso cuando se configuran núcleos en la aplicación
Tengo un problema extraño al ejecutar una aplicación fuera de la url maestra de chispas donde la interfaz de usuario informa un "ESTADO" de "ESPERA" indefinidamente ya que se muestran 0 núcleos en la tabla APLICACIONES EN EJECUCIÓN sin importar ...
Problemas de confiabilidad con Checkpointing / WAL en Spark Streaming 1.6.0
DescripciónTenemos una aplicación Spark Streaming 1.5.2 en Scala que lee eventos JSON de un Kinesis Stream, realiza algunas transformaciones / agregaciones y escribe los resultados en diferentes prefijos S3. El intervalo de lote actual es de 60 ...