Resultados de la búsqueda a petición "apache-kafka"
Spark-Streaming Kafka Direct Streaming API y paralelismo
Entendí el mapeo automatizado que existe entre una partición Kafka y una partición Spark RDD y, en última instancia, la tarea Spark. Sin embargo, para dimensionar adecuadamente Mi ejecutor (en número de Core) y, por lo tanto, en última instancia, ...
¿Reasignación de Kafka de __consumer_offsets incorrecta?
Estoy confundido con cómo funciona kafka-reassignment-paritions para el tema __consumer_offsets? Comienzo con 1 zk y 1 broker kafka, creo un tema de prueba con replication = 1, partición = 1. consumir y producir. funciona bien. Veo el tema ...
¿Cuántos productores crear en kafka?
En una aplicación web java en tiempo real de gran volumen, le envío mensajes aapache kafka. Actualmente estoy enviando a un solo tema, pero en el futuro podr...
Kafka políticas de retención
Suponga que tengo una configuración de Kafka de varios intermediarios (ejecutándose en el mismo host) con 3 intermediarios y 50 temas, cada uno de los cuales está configurado para tener 7 particiones y un factor de replicación de 3. Tengo 50 GB ...
cambio del período de retención de kafka durante el tiempo de ejecución
Con Kafka 0.8.1.1, ¿cómo cambio el tiempo de retención del registro mientras se está ejecutando? losdocumentación [http://kafka.apache.org/documentation.html#brokerconfigs]dice que la propiedad eslog.retention.hours, pero tratando de cambiarlo ...
Acceso a la colección de DStreams
Estoy tratando de acceder a una colección de DStreams filtrados obtenidos como en la solución a esta pregunta:Spark Streaming: la mejor manera de dividir el flujo de entrada según el parámetro de ...
Error al crear temas de Kafka: el factor de replicación es mayor que los corredores disponibles
Estoy tratando de crear temas en Kafka siguiendo la guía en el sitio web de Apache Kafka a través de la línea de comandos. Mientras ejecuta el comando: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 ...
¿Es posible en Debezium configurar table_name => mapeo de temas kafka?
he leídohttp://debezium.io/docs/connectors/mysql/ [http://debezium.io/docs/connectors/mysql/]pero no pude encontrar ninguna información sobre si debezium se puede configurar para que los cambios de 2 (o más) tablas se puedan escribir en el mismo ...
Kafka 0.10 Java Client TimeoutException: lote que contiene 1 registro (s) caducado
Tengo una configuración de Zookeeper / Kafka de un solo nodo, corredor múltiple (3). Estoy usando el cliente Java Kafka 0.10. Escribí el siguiente productor remoto simple (en un servidor diferente al de Kafka) (en el código reemplacé mi ...
Spark: procesando múltiples temas kafka en paralelo
estoy usandospark 1.5.2. Necesito ejecutar un trabajo de transmisión por chispa con kafka como fuente de transmisión. Necesito leer de múltiples temas dentro de kafka y procesar cada tema de manera diferente. ¿Es una buena idea hacer esto en el ...