Resultados de la búsqueda a petición "apache-kafka"
eliminar un grupo de consumidores kafka en cuidador del zoológico
Estoy usando kafka_2.9.2-0.8.1.1 con zookeeper 3.4.6. ¿Existe alguna utilidad que pueda eliminar automáticamente un grupo de consumidores de Zookeeper? ¿O puedo eliminar todo lo que se encuentra debajo de / consumer / [group_id] en zookeeper? Si ...
org.apache.spark.SparkException: tarea no serializable
Este es un ejemplo de código de trabajo: JavaPairDStream<String, String> messages = KafkaUtils.createStream(javaStreamingContext, zkQuorum, group, topicMap); messages.print(); JavaDStream<String> lines = messages.map(new Function<Tuple2<String, ...
Kafka Streams - ¿Cómo controlar mejor la partición del tema de la tienda de estado creado internamente?
Las tiendas estatales en Kafka Streams se crean internamente. Los almacenes de estado se dividen por clave, pero no permiten proporcionar particiones que no seanpor clave (que yo sepa). PREGUNTAS Cómocontrolar el número de particiones de un ...
Kafka: Obtenga el host de intermediario de ZooKeeper
Por razones particulares, necesito usar ambos:ConsumerGroup (también conocido como consumidor de alto nivel) ySimpleConsumer (también conocido como consumidor de bajo nivel) para leer de Kafka. porConsumerGroup Uso la configuración basada en ...
¿Cómo cambiar el desplazamiento de inicio para el tema?
¿Es posible cambiar el desplazamiento de inicio para un nuevo tema? Me gustaría crear un nuevo tema y comenzar a leer desde el offset10000. ¿Cómo?
Agregar un conector a Kafka Connect
Estoy usando la imagen Confluent Kafka Docker, específicamente usando ...
Spark Python Deserializador Avro Kafka
He creado un flujo de kafka en una aplicación Python Spark y puedo analizar cualquier texto que llegue a través de él. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Quiero cambiar esto para poder ...
Zookeeper tiene KeeperException pero Kafka puede crear temas y producir / consumir
Recientemente configuré Kafka en un solo nodo CDH 5 con el objetivo de jugar con él en un solo nodo antes de pasar a un clúster real. Inicialmente, recién comencé el servidor zookeeper, con el servidor kafka y todo estuvo bien. Pude ver que el ...
El consumidor de Kafka busca metadatos para temas fallidos
Estoy intentando escribir un cliente Java para los servidores Kafka y ZooKeeper de un tercero. Puedo enumerar y describir temas, pero cuando intento leer alguno, unClosedChannelException es elevado. Los reproduzco aquí con el cliente de línea de ...
Kafka múltiples consumidores para una partición
Tengo un productor que escribe mensajes en un tema / partición. Para mantener el orden, me gustaría ir con una sola partición y quiero que 12 consumidores lean todos los mensajes de esta única partición (sin grupo de consumidores, todos ...