Resultados da pesquisa a pedido "apache-kafka"
Os grupos de consumidores podem abranger nós diferentes em um cluster?
Eu já vi muitos exemplos de como usar o consumidor de alto nível (grupo de consumidores) para consumir um tópico usando muitos threads no mesmo processo. Você pode ter vários processos (em máquinas diferentes) dividir as partições e consumir em ...
Falha do consumidor único Kafka em um grupo
Estou nas fases iniciais de exploração do Kafka, versão 0.8.1.1. Executei com êxito o Exemplo de Grupo de Consumidores, com várias partições e suas mensagens de distribuição entre os consumidores muito bem. Um caso de teste que eu queria ...
Erro de exemplo do Apache Kafka: falha ao enviar mensagem após 3 tentativas
Estou executando este exemplo de produtor kafka mencionado em seu site O código: public class TestProducer { public static void main(String[] args) { long events = Long.parseLong(args[0]); Random rnd = new Random(); Properties props = ...
Como implementar a desserialização no consumidor kafka usando o scala?
Eu tenho a seguinte linha no código do meu consumidor kafka. val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap).map(_._2) Como desserializar "linhas" desse fluxo no objeto original? A serialisabilidade foi implementada no ...
Como o reequilíbrio do consumidor funciona em Kafka?
Quando um novo consumidor / colaborador é adicionado ou desativado, o Kafka aciona uma operação de reequilíbrio. O Kafka Rebalancing é uma operação de bloqueio. Os consumidores da Kafka são bloqueados enquanto uma operação de reequilíbrio está em ...
Spark streaming StreamingContext.start () - Erro ao iniciar o receptor 0
Eu tenho um projeto que está usando o spark streaming e estou executando-o com 'spark-submit', mas estou atingindo este erro: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
Consumir do Kafka com falha O Iterator está no estado de falha
Estou recebendo exceção ao consumir as mensagens do kafka. org.springframework.messaging.MessagingException: Consuming from Kafka failed; nested exception is java.util.concurrent.ExecutionException: java.lang.IllegalStateException: Iterator is ...
Throuput lento do consumidor ao usar 2 configurações de consumidor
Usando a extensão spring-integration-kafka e a seguinte configuração: <int-kafka:zookeeper-connect id="zookeeperConnect" zk-connect="#{kafkaConfig['zooKeeperUrl']}" zk-connection-timeout="10000" zk-session-timeout="10000" zk-sync-time="2000" /> ...
Kafka Producer - Por padrão, suporta Multithreading?
Eu sou novato em kafka. Criei exemplos de programas de produtores e grupos de consumidores do kafka sync usando o kafka_2.9.2-0.8.1.1. Portanto, minha pergunta é: preciso adicionar código multithreading ao produtor (como a classe consumergroup) ...
O tratador possui KeeperException, mas Kafka é capaz de criar tópicos e produzir / consumir
Recentemente, configurei o Kafka em um CDH 5 de nó único com o objetivo de jogar com ele em um único nó antes de passar para um cluster real. Inicialmente, eu apenas iniciei o servidor zookeeper, com o servidor kafka e estava tudo bem. Pude ver ...