Resultados de la búsqueda a petición "spark-streaming"
Problemas de confiabilidad con Checkpointing / WAL en Spark Streaming 1.6.0
DescripciónTenemos una aplicación Spark Streaming 1.5.2 en Scala que lee eventos JSON de un Kinesis Stream, realiza algunas transformaciones / agregaciones y escribe los resultados en diferentes prefijos S3. El intervalo de lote actual es de 60 ...
¿Cómo pasar datos de Kafka a Spark Streaming?
Estoy tratando de pasar datos de kafka a la transmisión por chispa. Esto es lo que he hecho hasta ahora: Instalado amboskafka ysparkEmpezadozookeeper con configuración de propiedades predeterminadaEmpezadokafka server con configuración de ...
La interfaz de usuario de Spark muestra 0 núcleos incluso cuando se configuran núcleos en la aplicación
Tengo un problema extraño al ejecutar una aplicación fuera de la url maestra de chispas donde la interfaz de usuario informa un "ESTADO" de "ESPERA" indefinidamente ya que se muestran 0 núcleos en la tabla APLICACIONES EN EJECUCIÓN sin importar ...
Cómo convertir datos de Spark Streaming en Spark DataFrame
Hasta ahora, Spark no ha creado el DataFrame para la transmisión de datos, pero cuando estoy haciendo la detección de anomalías, es más conveniente y rápido usar DataFrame para el análisis de datos. He hecho esta parte, pero cuando trato de hacer ...
Spark Streaming: ¿Cómo puedo agregar más particiones a mi DStream?
Tengo una aplicación de transmisión por chispa que se ve así: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ ...
Spark Streaming mapWithState parece reconstruir el estado completo periódicamente
Estoy trabajando en un proyecto de transmisión Scala (2.11) / Spark (1.6.1) y estoy usandomapWithState() para realizar un seguimiento de los datos vistos de lotes anteriores. El estado se distribuye en 20 particiones en múltiples nodos, ...
Utilice el esquema para convertir mensajes AVRO con Spark a DataFrame
¿Hay alguna manera de usar un esquema para convertir avro [/questions/tagged/avro] mensajes de kafka [/questions/tagged/kafka] conchisp [/questions/tagged/spark] amarco de dato [/questions/tagged/dataframe]? El archivo de esquema para registros ...
EsHadoopIllegalArgumentException: no se puede detectar la versión ES Spark-ElasticSearch ejemplo
Estoy tratando de ejecutar datos simples de escritura en el ejemplo ElasticSearch. Sin embargo, sigo recibiendo este error: EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster ...
SBT Error de prueba: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
Obtener debajo de la excepción, cuando traté de realizar pruebas unitarias para mi código de transmisión de chispa en ventanas SBT usando scalatest. sbt testOnly<<ClassName>> * * * * * * 2018-06-18 02:39:00 ERROR Ejecutor: 91 - Excepción en ...
Convierta columnas de un marco de datos Spark con una matriz de objetos JSON en varias filas
Tengo una transmisión de datos JSON, cuya estructura se puede describir con la clase de caso a continuación case class Hello(A: String, B: Array[Map[String, String]]) Los datos de muestra para el mismo son los siguientes | A | B | ...