Resultados da pesquisa a pedido "apache-kafka"
Consumidor de alto nível Kafka error_code = 15
Ao tentar consumir da Kafka usando o consumidor de alto nível (usando um grupo de consumidores completamente novo), o consumidor nunca começa a executar. Quando alterno o nível de log para depuração, vejo as duas linhas a seguir se repetindo ...
O Apache Kafka e o Avro: org.apache.avro.generic.GenericData $ Record não podem ser convertidos em com.harmeetsingh13.java.Customer
Sempre que estou tentando ler a mensagem da fila kafka, recebo a seguinte exceção: [error] (run-main-0) java.lang.ClassCastException: org.apache.avro.generic.GenericData$Record cannot be cast to com.harmeetsingh13.java.Customer ...
Qual é a diferença em Kafka entre um coordenador de grupos de consumidores e um líder de grupo de consumidores?
Vejo referências aos Coordenadores do Grupo de Consumidores Kafka e Líderes do Grupo de Consumidores ... Qual é a diferença? Qual é o benefício de separar o gerenciamento de grupo em dois conjuntos diferentes de responsabilidades?
Exceção no encadeamento "main" java.lang.NoClassDefFoundError: org / spark_project / guava / cache / CacheLoader
Quando estou tentando executar meu projeto kafka spark. Estou recebendo o erro abaixo: Exception in thread "main" java.lang.NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader ...
Streaming de mensagens para vários tópicos
Eu tenho um único tópico mestre e vários predicados, cada um dos quais com um tópico de saída associado a ele. Quero enviar cada registro para TODOS os tópicos cujo predicado se resolve como verdadeiro. Estou usando o Luwak para testar quais ...
Como lidar com erros e não confirmar quando usar o DSL do Kafka Streams
Para o Kafka Streams, se usarmos a API do processador de nível inferior, podemos controlar a confirmação ou não. Portanto, se ocorrerem problemas em nosso código, e não queremos confirmar esta mensagem. Nesse caso, o Kafka reenviará essa mensagem ...
Como gerenciar a junção em janela do Kafka KStream ao Kstream?
Baseado emapache Kafka docs [https://kafka.apache.org/documentation/streams#streams_dsl_joins] KStream-to-KStream Joins are always windowed joins, minha pergunta é como posso controlar o tamanho da janela? É do mesmo tamanho para manter os dados ...
O Spark Structured Stream recebe mensagens de apenas uma partição do Kafka
Entendi a situação em que o spark pode transmitir e receber mensagens de apenas uma partição do tópico Kafka 2-patition. Meus tópicos:C:\bigdata\kafka_2.11-0.10.1.1\bin\windows>kafka-topics --create --zookeeper localhost:2181 --partitions 2 ...
Consultas do sistema externo durante o processamento do Kafka Stream
Estou tentando criar uma arquitetura de streaming para análise de streaming. Requisitos: Entrada de dados de streaming RT e NRTProcessadores de fluxo implementando algumas análises financeirasFluxo de saída da análise RT e NRTSolicitações ...
Não é possível encontrar o tópico ao produzir mensagens: UNKNOWN_TOPIC_OR_PARTITION
Eu tenho um cluster kafka de dois nós (instâncias EC2) em que cada nó é usado como um broker separado. Quando executo um produtor na instância líder com o seguinte comando: kafka-console-producer.sh --broker-list localhost:9092 --topic testEu ...