Resultados de la búsqueda a petición "apache-kafka"
¿Cómo mostrar un DataFrame de transmisión (ya que el programa falla con AnalysisException)?
Así que tengo algunos datos que estoy transmitiendo en un tema de Kafka, tomo estos datos de transmisión y los coloco en unDataFrame. Quiero mostrar los datos dentro del DataFrame: import os from kafka import KafkaProducer from pyspark.sql ...
Leyendo el mismo mensaje varias veces de Kafka
yo sueloSpring Kafka API [http://docs.spring.io/spring-kafka/reference/htmlsingle/#_retrying_deliverieshttp://] para implementar Kafka Consumer con gestión manual de compensación: @KafkaListener(topics = "some_topic") public void ...
La transmisión de Apache Flink en clúster no divide los trabajos con los trabajadores
Mi objetivo es configurar un clúster de alto rendimiento utilizando Kafka como fuente y Flink como motor de procesamiento de flujo. Esto es lo que he hecho. He configurado un clúster de 2 nodos la siguiente configuración en el maestro y el ...
Cómo configurar temas de Kafka para que las bases de datos como RDMS y gráficas puedan consumir un esquema de entidad interconectada en forma de eventos
Tengo un caso donde tengoInformation objetos que contienenElement objetos. Si guardo unInformation objetará que intentará encontrar preexistenteElement objetos basados en un campo de valor único; de lo contrario, insértelos.Information objetos ...
Kafka en Kubernetes - Marcar al coordinador muerto para el grupo
Soy bastante nuevo en Kubernetes y quería configurar a Kafka y al cuidador del zoológico con él. Pude configurar Apache Kafka y Zookeeper en Kubernetes usando StatefulSets. Seguíesta ...
Consumidor de alto nivel de Kafka Obtenga todos los mensajes del tema utilizando la API de Java (equivalente a --desde el principio)
Estoy probando el consumidor de alto nivel de Kafka usando el código ConsumerGroupExample del sitio de Kafka. Me gustaría recuperar todos los mensajes existentes sobre el tema llamado "prueba" que tengo en la configuración del servidor Kafka. Al ...
¿Cómo configuro las opciones de Java para Kafka?
He estado experimentando con Kafka y vi en la documentación del sitio principal que puedes configurar diferentes opciones para jvm, como el tamaño de almacenamiento dinámico y el recolector de basura que ...
API del procesador Kafka: ¿Clave diferente para Source y StateStore?
Actualmente estamos implementando un proceso (utilizando la API del procesador Kafka) donde necesitamos combinar información de 2 eventos correlacionados (mensajes) sobre un tema y luego reenviar esa información combinada. Los eventos se originan ...
¿Es una buena práctica realizar consultas de sincronización de base de datos o llamadas relajantes en trabajos de Kafka streams?
Utilizo transmisiones de Kafka para procesar datos en tiempo real, en las tareas de transmisiones de Kafka, necesito acceder a MySQL para consultar datos y llamar a otro servicio tranquilo. Todas las operaciones son sincrónicas. Me temo que ...
¿Cómo funciona kafka consumer auto commit?
Estoy leyendoéste [https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html#callout_kafka_consumers__reading_data_from_kafka_CO2-1] : Confirmación automática La forma más fácil de confirmar las compensaciones ...