Resultados da pesquisa a pedido "apache-kafka"
Como confirmar manualmente com o Kafka Stream?
Existe uma maneira de confirmar manualmente com o Kafka Stream? Geralmente, usando oKafkaConsumer, Faço algo como abaixo: while (true) { ConsumerRecords<String, String> records = consumer.poll(100); for (ConsumerRecord<String, String> record : ...
Como configurar tópicos Kafka para que um esquema de entidade interconectado possa ser consumido na forma de eventos por bancos de dados como RDMS e gráfico
Eu tenho um caso em que eu tenhoInformation objetos que contêmElement objetos. Se eu guardar umInformation objeto que tentará encontrar preexistenteElement objetos com base em um campo de valor exclusivo, caso contrário, insira-os.Information ...
Reiniciar a tarefa de pia do Kafka Connect S3 perde a posição, reescreve completamente tudo
Após reiniciar uma tarefa de coletor do Kafka Connect S3, ele reiniciou a gravação desde o início do tópico e gravou cópias duplicadas dos registros mais antigos. Em outras palavras, o Kafka Connect pareceu perder seu lugar. Então, imagino que o ...
Segurança Kafka Zookeeper
Estou usando o Kafka versão 0.10.2.0. Existe uma maneira de proteger a comunicação entre o Zookeper Client, ou seja, o ZkClient e o servidor do zookeper com SSL. Eu encontrei uma maneira de fazer através do SASL, mas eu quero isso através do SSL.
Spark Structured Streaming com integração Hbase
Estamos fazendo streaming de dados kafka que estão sendo coletados no MySQL. Agora que todas as análises estiverem concluídas, quero salvar meus dados diretamente no Hbase. Passei pelo documento de streaming estruturado do spark, mas não consegui ...
Recebendo a última mensagem enviada para um tópico kafka
Sou novo na Kafka e estou trabalhando em um protótipo para conectar um serviço de streaming proprietário ao Kafka. Estou procurando obter a chave da última mensagem em um tópico, pois nosso consumidor interno de fluxo precisa fazer logon com o ...
Como desserializar registros do Kafka usando o Structured Streaming em Java?
Eu uso o Spark2.1. Estou tentando ler registros do Kafka usando o Spark Structured Streaming, desserializá-los e aplicar agregações posteriormente. Eu tenho o seguinte código: SparkSession spark = SparkSession .builder() ...
Kafka em Kubernetes - Marcando o coordenador como morto para o grupo
Eu sou muito novo no Kubernetes e queria configurar o Kafka e o tratador com ele. Consegui configurar o Apache Kafka e o Zookeeper no Kubernetes usando o StatefulSets. eu seguiesta ...
API e Paralelismo de Streaming Direto Kafka do Spark-Streaming
Entendi o mapeamento automatizado que existe entre uma Partição Kafka e uma partição Spark RDD e, finalmente, a Tarefa Spark. No entanto, para dimensionar corretamente meu executor (em número de núcleos) e, portanto, em última análise, meu nó e ...
A confirmação CommitFailedException não pode ser concluída, pois o grupo já reequilibrou e atribuiu as partições a outro membro
Eu estava usando o kafka 0.10.2 e agora enfrentava uma CommitFailedException. gostar: A consolidação não pode ser concluída, pois o grupo já reequilibrou e atribuiu as partições a outro membro. Isso significa que o tempo entre as ...