Resultados da pesquisa a pedido "apache-kafka"
Os grupos de consumidores podem abranger nós diferentes em um cluster?
Eu já vi muitos exemplos de como usar o consumidor de alto nível (grupo de consumidores) para consumir um tópico usando muitos threads no mesmo processo. Você pode ter vários processos (em máquinas diferentes) dividir as partições e consumir em ...
Quando o cliente Apache Kafka lança uma exceção "Expiração em lote"?
Usando o cliente Apache Kafka Java (0.9), estou tentando enviar uma longa série de registros para o broker usando oKafka Producer class [https://kafka.apache.org/090/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html] . O ...
Kafka: Não é possível criar vários consumidores de fluxo
Acabei de me levantar e correr com o Kafka 0.8 beta 1. Eu tenho um exemplo muito simples em funcionamento, o problema é que eu só posso obter um consumidor d...
Existe uma maneira fácil de instalar o Kafka no Windows?
Estou tentando instalarKafka [http://kafka.apache.org/]fila de mensagens no Windowspara testefinalidade (não para produção: D). Eu encontrei este artigo apenas sobre como instalar o Apache Kafka 0.8 ...
Como verificar se o ZooKeeper está sendo executado ou ativado no prompt de comando?
Eu exploro algumas opções para configurar o kafka e sabia que o tratador deve estar instalado e funcionando para iniciar um kafka. Gostaria de saber como posso encontrar o abaixo. 1) nome do host e porta da minha instância do zookeeper --- ...
Kafka: Obtenha o host do broker do ZooKeeper
Por razões particulares, preciso usar os dois -ConsumerGroup (também conhecido como consumidor de alto nível) eSimpleConsumer (também conhecido como consumidor de baixo nível) para ler em Kafka. ParaConsumerGroup Eu uso a configuração baseada no ...
Como listar produtores em kafka
Assim como o Kafka Offset Monitor pode mostrar uma lista de consumidores ativos de um tópico, existe alguma ferramenta ou interface de linha de comando ou algo que possa listar o nome dos produtores que publicam em um determinado tópico?
Spark Structured Streaming - Processando cada linha
Estou usando o streaming estruturado com o Spark 2.1.1. Preciso aplicar alguma lógica de negócios às mensagens recebidas (da fonte Kafka). essencialmente, preciso captar a mensagem, obter alguns valores-chave, procurá-los no HBase e executar ...
O Zookeeper é obrigatório para Kafka?
No Kafka, eu gostaria de usar apenas um único broker, tópico único e uma única partição com um produtor e vários consumidores (cada consumidor obtendo sua própria cópia dos dados do broker). Diante disso, eu não quero a sobrecarga de usar o ...
Como posso obter o valor de deslocamento no KStream
Estou desenvolvendo um PoC com o Kafka Streams. Agora, preciso obter o valor de deslocamento no consumidor do fluxo e usá-lo para gerar uma chave exclusiva(topic-offset)->hash para cada mensagem. O motivo é: os produtores são syslog e apenas ...