Resultados de la búsqueda a petición "apache-kafka"
Apache Kafka vs Apache Storm
Apache Kafka: sistema de mensajería distribuida Tormenta de Apache: procesamiento de mensajes en tiempo real ¿Cómo podemos usar ambas tecnologías en una tubería de datos en tiempo real para procesar datos de eventos? En términos de canalización ...
cómo usar el apéndice Kafka 0.8 Log4j
Estoy intentando ejecutar el apéndice Kafka-0.8 Log4j y no puedo hacerlo. Quiero que mi aplicación envíe el registro directamente a kafka a través del apéndice Log4j. Aquí está mi log4j.properties. No pude encontrar ningún codificador ...
¿Cómo mostrar un DataFrame de transmisión (ya que el programa falla con AnalysisException)?
Así que tengo algunos datos que estoy transmitiendo en un tema de Kafka, tomo estos datos de transmisión y los coloco en unDataFrame. Quiero mostrar los datos dentro del DataFrame: import os from kafka import KafkaProducer from pyspark.sql ...
Problema de reequilibrio al leer mensajes en Kafka
Estoy tratando de leer mensajes sobre el tema de Kafka, pero no puedo leerlo. El proceso se detiene después de algún tiempo, sin leer ningún mensaje. Aquí está el error de reequilibrio que obtengo: [2014-03-21 10:10:53,215] ERROR Error ...
Obteniendo el último mensaje enviado a un tema kafka
Soy nuevo en Kafka y estoy trabajando en un prototipo para conectar un servicio de transmisión patentado a Kafka. Estoy buscando obtener la clave del último mensaje enviado sobre un tema, ya que nuestro consumidor interno de transmisiones debe ...
¿Reasignación de Kafka de __consumer_offsets incorrecta?
Estoy confundido con cómo funciona kafka-reassignment-paritions para el tema __consumer_offsets? Comienzo con 1 zk y 1 broker kafka, creo un tema de prueba con replication = 1, partición = 1. consumir y producir. funciona bien. Veo el tema ...
¿Cómo leer registros en formato JSON de Kafka usando Structured Streaming?
Estoy tratando de usarenfoque de transmisión estructurada [http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html] usando Spark-Streaming basado en DataFrame / Dataset API para cargar un flujo de datos desde Kafka. Yo ...
Manejo de mensajes incorrectos con la API de Streams de Kafka
Tengo un flujo de procesamiento de flujo básico que se parece a master topic -> my processing in a mapper/filter -> output topicsy me pregunto cuál es la mejor manera de manejar "mensajes malos". Esto podría ser cosas como mensajes que no puedo ...
Reiniciar Kafka Connect S3 Sink Task pierde posición, reescribe completamente todo
Después de reiniciar una tarea de sumidero de Kafka Connect S3, reinició la escritura desde el principio del tema y escribió copias duplicadas de registros anteriores. En otras palabras, Kafka Connect parecía perder su lugar. Por lo tanto, me ...
Spring Kafka Producer no envía a Kafka 1.0.0 (Magic v1 no admite encabezados de registro)
Estoy usando esta configuración docker-compose para configurar Kafka localmente: https://github.com/wurstmeister/kafka-docker/ [https://github.com/wurstmeister/kafka-docker/] docker-compose up funciona bien, crear temas a través de shell ...