Resultados da pesquisa a pedido "apache-kafka"
O kafka consumer 0.9 é compatível com versões anteriores?
O próximo consumidor kafka 0.9.x será compatível com o intermediário 0.8? Em outras palavras - é possível mudar apenas para a nova implementação do consumidor, sem tocar em mais nada?
Não foi possível encontrar líderes para Set ([TOPICNNAME, 0])) Quando estamos no Apache Saprk
Estamos usando o Apache Spark 1.5.1 e kafka_2.10-0.8.2.1 e a API Kafka DirectStream para buscar dados do Kafka usando o Spark. Criamos os tópicos em Kafka com as seguintes configurações ReplicationFactor: 1 e réplica: 1 Quando todas as ...
Kafka como ler do tópico __consumer_offsets
Estou tentando descobrir quais compensações meus atuais consumidores de alto nível estão trabalhando. Eu uso o Kafka 0.8.2.1, comnão"offset.storage" definido no server.properties do Kafka - o que, eu acho, significa que os deslocamentos são ...
O tópico Kafka não existe mais após a reinicialização
Criei um tópico no cluster kafka local com 3 servidores / corretores executando o seguinte no diretório de instalação do kafka bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 2 --topic ...
Kafka incorporado: KTable + KTable leftJoin produz registros duplicados
Eu venho buscando o conhecimento do arcano. Primeiro, eu tenho dois pares de tópicos, com um tópico em cada par alimentando o outro tópico. Dois KTables estão sendo formados pelos últimos tópicos, que são usados em um KTable + KTable leftJoin. O ...
Consumidor Kafka compensar valor máximo?
Eu estava pesquisando no Google e lendo a documentação do Kafka, mas não consegui descobrir o valor máximo de uma compensação do consumidor e se existe uma diferença entre o deslocamento e o valor máximo. Eu entendo que offset é um valor Int64, ...
Spark: processando vários tópicos kafka em paralelo
estou usandospark 1.5.2. Preciso executar o trabalho de streaming de faísca com o kafka como fonte de streaming. Preciso ler de vários tópicos no kafka e processar cada tópico de maneira diferente. É uma boa ideia fazer isso no mesmo trabalho? ...
Como configurar / conectar corretores, produtores e consumidores Kafka distribuídos em uma rede local?
Eu configurei o Apache Kafka e confirmei que produtores e consumidores trabalham no host local. Como configurar o Kafka para que: vários produtores alimentam mensagens em um broker em um computador em redemuitos consumidores na rede podem ...
Não é possível ver o mBean kafka.consumer e kafka.producer no jConsole
EDIT:Eu venho a conhecer t [https://stackoverflow.com/questions/37799564/kafka-consumer-jmx-properties]Para ativar o JMX em meus processos de Consumidor e Produtor e obter informações do mBean dos respectivos processos. Como faço isso para uma ...
diferença entre groupid e consumerid em Kafka consumidor
Eu sou novo em Kafka. Notei na configuração do consumidor que tem dois IDs. um é group.id (obrigatório) e o segundo é consumer.id (não obrigatório). Diga por que 2 IDs e diferença.