Resultados de la búsqueda a petición "spark-structured-streaming"
Cómo escribir ElasticsearchSink para la transmisión estructurada de Spark
Estoy usando la transmisión estructurada de Spark para procesar datos de alto volumen de la cola de Kafka y estoy haciendo algunos cálculos de ML, pero necesito escribir el resultado en Elasticsearch. Traté de usar elForeachWriter pero no puedo ...
¿Por qué iniciar una consulta de transmisión conduce a "ExitCodeException exitCode = -1073741515"?
He estado tratando de acostumbrarme a la nueva transmisión estructurada, pero me sigue dando el siguiente error tan pronto como comienzo un.writeStream consulta. ¿Alguna idea de lo que podría estar causando esto? Lo más cercano que ...
¿Cómo escribir un conjunto de datos de transmisión a Kafka?
Estoy tratando de enriquecer los datos de los temas. Por lo tanto, lea desde Kafka hasta Kafka utilizando la transmisión estructurada de Spark. val ds = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", bootstrapServers) ...
¿Cómo obtener compensaciones de Kafka para una consulta estructurada para una gestión de compensación manual y confiable?
Spark 2.2 introdujo una fuente de transmisión estructurada de Kafka. Según tengo entendido, se basa en el directorio de puntos de control HDFS para almacenar compensaciones y garantizar la entrega de un mensaje "exactamente una vez". Pero viejos ...
Cómo monitorear continuamente un directorio utilizando Spark Structured Streaming
Quiero que spark supervise continuamente un directorio y lea los archivos CSV usandospark.readStream tan pronto como el archivo aparezca en ese directorio. No incluya una solución de Spark Streaming. Estoy buscando una manera de ...
¿Cómo mostrar un DataFrame de transmisión (ya que el programa falla con AnalysisException)?
Así que tengo algunos datos que estoy transmitiendo en un tema de Kafka, tomo estos datos de transmisión y los coloco en unDataFrame. Quiero mostrar los datos dentro del DataFrame: import os from kafka import KafkaProducer from pyspark.sql ...
¿Cómo leer registros en formato JSON de Kafka usando Structured Streaming?
Estoy tratando de usarenfoque de transmisión estructurada [http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html] usando Spark-Streaming basado en DataFrame / Dataset API para cargar un flujo de datos desde Kafka. Yo ...
¿Cómo obtener la salida del receptor de transmisión de consola en Zeppelin?
Estoy luchando por conseguir elconsole fregadero trabajando conTransmisión estructurada de PySpark [https://spark.apache.org/docs/2.2.0/structured-streaming-programming-guide.html] cuando se ejecuta desde Zeppelin. Básicamente, no veo ningún ...
¿Por qué el formato ("kafka") falla con "No se pudo encontrar la fuente de datos: kafka" (incluso con uber-jar)?
Yo uso HDP-2.6.3.0 con el paquete Spark2 2.2.0. Estoy tratando de escribir un consumidor de Kafka, usando la API de transmisión estructurada, pero obtengo el siguiente error después de enviar el trabajo al clúster: Exception in thread "main" ...
¿Cómo usar el modo de salida de actualización con formato FileFormat?
Estoy tratando de usar la transmisión estructurada por chispa en el modo de salida de actualización escribir en un archivo. encontréeste ejemplo ...