Resultados de la búsqueda a petición "spark-structured-streaming"
¿Cómo procesar los mensajes de Avro mientras lee una secuencia de mensajes de Kafka?
El siguiente código lee los mensajes de Kafka y los mensajes están en Avro, entonces, ¿cómo analizo el mensaje y lo pongo en un marco de datos en Spark 2.2.0? Dataset<Row> df = sparkSession.readStream() ...
Spark estructurado streaming kafka convertir JSON sin esquema (inferir esquema)
Leí que Spark Structured Streaming no admite inferencia de esquema para leer mensajes de Kafka como JSON. ¿Hay alguna manera de recuperar el esquema de la misma manera que lo hace Spark Streaming? val dataFrame = ...
¿Cómo crear una fuente de datos de transmisión personalizada?
Tengo un lector personalizado para Spark Streaming que lee datos de WebSocket. Voy a probar Spark Structured Streaming. ¿Cómo crear una fuente de transmisión de datos en Spark Structured Streaming?
Convierte entre Streaming Dataset y DStream
¿Es posible convertir una transmisión?o.a.s.sql.Dataset aDStream? ¿Si es así, cómo? Sé cómo convertirlo a RDD, pero está en un contexto de transmisión.
Problema de memoria con transmisión estructurada por chispa
Estoy enfrentando problemas de memoria al ejecutar una secuencia estructurada con agregación y particionamiento en Spark 2.2.0: session .readStream() .schema(inputSchema) .option(OPTION_KEY_DELIMITER, OPTION_VALUE_DELIMITER_TAB) ...
Spark Agregación de transmisión estructurada para datos de marcas de tiempo antiguas
ntento agregar el recuento de registros cada 10 segundos utilizando la transmisión estructurada para los siguientes datos entrantes de Kafk { "ts2" : "2018/05/01 00:02:50.041", "serviceGroupId" : "123", "userId" : "avv-0", "stream" : "", ...
Spark Streaming estructurado con fuente RabbitMQ
Estoy tratando de escribir un receptor personalizado paraStructured Streaming que consumirá mensajes deRabbitMQ. Spark lanzado recientemente [https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html] DataSource V2 API, que ...
¿Cómo transformar flujos estructurados con P, ySpark?
Parece que esto debería ser obvio, pero al revisar los documentos y ejemplos, no estoy seguro de poder encontrar una manera de tomar una secuencia estructurada y transformarla usando PySpark. Por ejemplo from pyspark.sql import SparkSession ...
¿Cómo se establece el número de tareas y particiones cuando se usa MemoryStream?
Estoy tratando de entender un comportamiento extraño que observé en mi aplicación de transmisión de estructura Spark que se ejecuta enlocal[*] modo Tengo 8 núcleos en mis máquinas. Si bien la mayoría de mis lotes tienen 8 particiones, de vez ...
¿Cómo insertar DataFrame de transmisión estructurada por chispa en la tabla / ubicación externa de Hive?
Una consulta sobre integración de transmisión estructurada por chispa con tabla HIVE. He intentado hacer algunos ejemplos de transmisión estructurada por chispa. aquí está mi ejemplo val spark =SparkSession.builder().appName("StatsAnalyzer") ...