Resultados de la búsqueda a petición "apache-kafka"
Solicitar mensajes entre dos marcas de tiempo de Kafka
¿Es posible consumir mensajes de Kafka en función de un período de tiempo en el que se ingirieron los mensajes? Ejemplo: Quiero que todos los mensajes se ingieran a un tema entre 0900-1000 hoy (y ahora son 1200). Si solo hay una manera de ...
¿Cuál es la diferencia entre Apache kafka y ActiveMQ?
Estoy trabajando enApache Kafka. Quiero saber cuál es mejor:Kafka oActiveMQ. ¿Cuál es la principal diferencia entre estas dos tecnologías? Quiero implementarKafka en primavera MVC.
¿Cómo escribir un conjunto de datos de transmisión a Kafka?
Estoy tratando de enriquecer los datos de los temas. Por lo tanto, lea desde Kafka hasta Kafka utilizando la transmisión estructurada de Spark. val ds = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", bootstrapServers) ...
Consumidor de kafka de primavera, ¿busca compensación en tiempo de ejecución?
Estoy usando el KafkaMessageListenerContainer para consumir del tema kafka, tengo una lógica de aplicación para procesar cada registro que también depende de otros micro servicios. Ahora estoy confirmando manualmente el desplazamiento después de ...
¿Cómo implementar las pruebas de contrato cuando kafka está involucrado en la arquitectura de microservicios?
Actualmente estoy trabajando en un proyecto donde tenemos implementación kafka en la arquitectura de micro servicios. ¿Tuviste éxito en la creación de casos de prueba de contrato para la interacción de temas de mS a kafka utilizando pact-jvm? Mi ...
Acceso a la colección de DStreams
Estoy tratando de acceder a una colección de DStreams filtrados obtenidos como en la solución a esta pregunta:Spark Streaming: la mejor manera de dividir el flujo de entrada según el parámetro de ...
¿Cómo elimino un Kafka Consumer Group para restablecer las compensaciones?
Quiero eliminar un grupo de consumidores de Kakfa para que cuando la aplicación cree un consumidor y se suscriba a un tema, pueda comenzar al principio de los datos del tema. Esto es con un vm de desarrollo de un solo nodo usando la última ...
¿Cómo obtener compensaciones de Kafka para una consulta estructurada para una gestión de compensación manual y confiable?
Spark 2.2 introdujo una fuente de transmisión estructurada de Kafka. Según tengo entendido, se basa en el directorio de puntos de control HDFS para almacenar compensaciones y garantizar la entrega de un mensaje "exactamente una vez". Pero viejos ...
Spark Structured Streaming con integración Hbase
Estamos haciendo streaming de datos kafka que se recopilan de MySQL. Ahora, una vez que se hayan realizado todos los análisis, quiero guardar mis datos directamente en Hbase. Tengo a través del documento de transmisión estructurado por chispa, ...
Consumidor de alto nivel de Kafka Obtenga todos los mensajes del tema utilizando la API de Java (equivalente a --desde el principio)
Estoy probando el consumidor de alto nivel de Kafka usando el código ConsumerGroupExample del sitio de Kafka. Me gustaría recuperar todos los mensajes existentes sobre el tema llamado "prueba" que tengo en la configuración del servidor Kafka. Al ...