Resultados da pesquisa a pedido "apache-kafka"
Como faço para excluir um grupo de consumidores Kafka para redefinir compensações?
Desejo excluir um grupo de consumidores Kakfa para que, quando o aplicativo crie um consumidor e assine um tópico, ele possa iniciar no início dos dados do tópico. Isso ocorre com um vm de desenvolvimento de nó único usando a atual ...
Por padrão, vários consumidores Kafka podem ler da mesma partição do mesmo tópico?
Por padrão, vários consumidores Kafka podem ler da mesma partição do mesmo tópico? Por padrão, quero dizer, como group.id não é obrigatório, estou imaginando se gero vários consumidores kafka sem especificar nenhum group.id e lhes dou o mesmo ...
Kafka bootstrap-servers vs zookeeper em kafka-console-consumer
Estou tentando testar a execução de um único nó Kafka com 3 corretores e tratador. Desejo testar usando as ferramentas do console. Eu corro o produtor como tal: kafka-console-producer --broker-list localhost:9092,localhost:9093,localhost:9094 ...
Como gravar o conjunto de dados de streaming no Kafka?
Estou tentando enriquecer os dados dos tópicos. Portanto, leia do Kafka e volte para o Kafka usando o streaming estruturado do Spark. val ds = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", bootstrapServers) ...
Política ideal de retenção e exclusão de Kafka
Eu sou bastante novo no kafka, então me perdoe se essa pergunta for trivial. Eu tenho uma configuração muito simples para fins de testes de temporização da seguinte maneira: O computador A -> grava no tópico 1 (Broker) -> o computador B lê do ...
Como ler registros no formato JSON do Kafka usando o Structured Streaming?
Estou tentando usarabordagem de streaming estruturado [http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html] usando o Spark-Streaming com base na API DataFrame / Dataset para carregar um fluxo de dados do Kafka. Eu ...
Kafka Connect ficando sem espaço no heap
Depois de iniciar o Kafka Connect (connect-standalone), minha tarefa falha imediatamente após iniciar com: java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) ...
Consumidor kafka primavera, procure compensar em tempo de execução?
Estou usando o KafkaMessageListenerContainer para consumir a partir do tópico kafka, tenho uma lógica de aplicativo para processar cada registro que depende também de outros microsserviços. Agora estou confirmando manualmente o deslocamento após ...
Existe alguma razão para usar o RabbitMQ sobre o Kafka?
Fui convidado a avaliar o RabbitMQ em vez do Kafka, mas achei difícil encontrar um motivo para fazer algo melhor que o Kafka. Alguém sabe se é realmente melhor em produtividade, durabilidade, latência ou facilidade de uso?
Por que o consumidor Kafka leva muito tempo para começar a consumir?
Iniciamos um consumidor Kafka, ouvindo um tópico que ainda não foi criado (a criação automática de tópicos está ativada). Pouco tempo depois, um produtor está publicando mensagens sobre esse tópico. No entanto, leva algum tempo para o ...