Resultados da pesquisa a pedido "apache-kafka"
Kafka - Implementação de fila atrasada usando consumidor de alto nível
Deseja implementar um consumidor atrasado usando a API de alto nível do consumidor Ideia principal: produzir mensagens por chave (cada msg contém o carimbo de data / hora da criação), isso garante que cada partição tenha ordenado mensagens por ...
Como enviar a saída de dois bicos diferentes para o mesmo parafuso?
Eu tenho dois bicos de Kafka cujos valores eu quero enviar para o mesmo raio. É possível ?
É uma boa prática sincronizar consultas de banco de dados ou chamadas repousantes em tarefas de fluxos Kafka?
Eu uso fluxos Kafka para processar dados em tempo real, nas tarefas de fluxos Kafka, preciso acessar o MySQL para consultar dados e chamar outro serviço tranqüilo. Todas as operações são síncronas. Receio que a chamada de sincronização reduza a ...
Integração Kafka Spring: cabeçalhos que não chegam para o consumidor kafka
Estou usando o Kafka Spring Integration para publicar e consumir mensagens usando o kafka. Vejo que a carga útil é passada corretamente do produtor para o consumidor, mas as informações do cabeçalho estão sendo substituídas em ...
Hive Crie vários arquivos pequenos para cada inserção no HDFS
o seguinte já foi alcançado Produtor Kafka que extrai dados do twitter usando o Spark Streaming.Consumidor Kafka que ingere dados na tabela Hive External (no HDFS).enquanto isso está funcionando bem até agora. há apenas um problema que estou ...
Kafka em vários nós do Kubernetes
Portanto, meu objetivo aqui é montar um cluster de vários kafka-brokers de maneira distribuída. Mas não vejo como conscientizar os corretores. Tanto quanto eu entendo, todo corretor precisa de um ID separado em sua configuração, o que não posso ...
Kafka kafka.common.MessageSizeTooLargeException at consumer
Para algumas mensagens maiores, encontrei o seguinte erro: kafka.common.MessageSizeTooLargeException: Message size is 1185198 bytes which exceeds the maximum configured message size of 1000012.Então, conformeesta ...
O streaming do Apache Flink no cluster não divide tarefas com trabalhadores
Meu objetivo é configurar um cluster de alto rendimento usando o Kafka como fonte e o Flink como o mecanismo de processamento de fluxo. Aqui está o que eu fiz. Eu configurei um cluster de 2 nós com a seguinte configuração no mestre e ...
O que determina a compensação do consumidor Kafka?
Eu sou relativamente novo em Kafka. Eu experimentei um pouco, mas algumas coisas não estão claras para mim em relação à compensação do consumidor. Pelo que entendi até agora, quando um consumidor inicia, o deslocamento do qual ele começará a ler ...
Como listar produtores em kafka
Assim como o Kafka Offset Monitor pode mostrar uma lista de consumidores ativos de um tópico, existe alguma ferramenta ou interface de linha de comando ou algo que possa listar o nome dos produtores que publicam em um determinado tópico?