Resultados de la búsqueda a petición "spark-structured-streaming"
Spark Streaming estructurado con fuente RabbitMQ
Estoy tratando de escribir un receptor personalizado paraStructured Streaming que consumirá mensajes deRabbitMQ. Spark lanzado recientemente [https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html] DataSource V2 API, que ...
¿Cómo obtener la salida del receptor de transmisión de consola en Zeppelin?
Estoy luchando por conseguir elconsole fregadero trabajando conTransmisión estructurada de PySpark [https://spark.apache.org/docs/2.2.0/structured-streaming-programming-guide.html] cuando se ejecuta desde Zeppelin. Básicamente, no veo ningún ...
¿Por qué falla la aplicación Spark con "ClassNotFoundException: no se pudo encontrar la fuente de datos: kafka" como uber-jar con el ensamblaje sbt?
Estoy tratando de ejecutar una muestra ...
Excepción de transmisión estructurada cuando se utiliza el modo de salida anexa con marca de agua
A pesar de que estoy usandowithWatermark(), Recibo el siguiente mensaje de error cuando ejecuto mi trabajo de chispa: Excepción en el subproceso "main" org.apache.spark.sql.AnalysisException: el modo de salida de anexos no es compatible cuando ...
Cómo escribir ElasticsearchSink para la transmisión estructurada de Spark
Estoy usando la transmisión estructurada de Spark para procesar datos de alto volumen de la cola de Kafka y estoy haciendo algunos cálculos de ML, pero necesito escribir el resultado en Elasticsearch. Traté de usar elForeachWriter pero no puedo ...
¿Por qué falla el uso de caché en conjuntos de datos de transmisión con "AnalysisException: las consultas con fuentes de transmisión deben ejecutarse con writeStream.start ()"?
SparkSession .builder .master("local[*]") .config("spark.sql.warehouse.dir", "C:/tmp/spark") .config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark-checkpoint") .appName("my-test") .getOrCreate .readStream .schema(schema) ...
¿Cómo procesar los mensajes de Avro mientras lee una secuencia de mensajes de Kafka?
El siguiente código lee los mensajes de Kafka y los mensajes están en Avro, entonces, ¿cómo analizo el mensaje y lo pongo en un marco de datos en Spark 2.2.0? Dataset<Row> df = sparkSession.readStream() ...
¿Cómo crear una fuente de datos de transmisión personalizada?
Tengo un lector personalizado para Spark Streaming que lee datos de WebSocket. Voy a probar Spark Structured Streaming. ¿Cómo crear una fuente de transmisión de datos en Spark Structured Streaming?
¿Cómo mostrar un DataFrame de transmisión (ya que el programa falla con AnalysisException)?
Así que tengo algunos datos que estoy transmitiendo en un tema de Kafka, tomo estos datos de transmisión y los coloco en unDataFrame. Quiero mostrar los datos dentro del DataFrame: import os from kafka import KafkaProducer from pyspark.sql ...
Spark estructurado streaming kafka convertir JSON sin esquema (inferir esquema)
Leí que Spark Structured Streaming no admite inferencia de esquema para leer mensajes de Kafka como JSON. ¿Hay alguna manera de recuperar el esquema de la misma manera que lo hace Spark Streaming? val dataFrame = ...