Resultados da pesquisa a pedido "apache-kafka"
O conector do coletor Kafka Connect JDBC não está funcionando
Estou tentando usar o conector de coletor Kafka Connect JDBC para inserir dados no Oracle, mas está apresentando um erro. Eu tentei com todas as configurações possíveis do esquema. Abaixo estão os exemplos. Por favor, sugira que, se faltar ...
Spark kafka de fluxo estruturado converter JSON sem esquema (inferir esquema)
Eu li o Spark Structured Streaming não suporta inferência de esquema para ler mensagens Kafka como JSON. Existe uma maneira de recuperar o esquema da mesma forma que o Spark Streaming: val dataFrame = spark.read.json(rdd.map(_.value())) ...
Listar todos os tópicos kafka
estou a usarkafka 0.10semfuncionário do zoológico. Quero obter a lista de tópicos kafka. Este comando não está funcionando, pois não estamos usando o zookeeper:bin/kafka-topics.sh --list --zookeeper localhost:2181. Como posso obter a mesma saída ...
Qual é a diferença entre Apache kafka e ActiveMQ
Eu estou trabalhando emApache Kafka. Quero saber qual é o melhor:Kafka ouActiveMQ. Qual é a principal diferença entre essas duas tecnologias? Eu quero implementarKafka no Spring MVC.
Como obter compensações Kafka para consultas estruturadas para gerenciamento manual e confiável de compensações?
O Spark 2.2 introduziu uma fonte de streaming estruturada do Kafka. Pelo que entendi, ele conta com o diretório de ponto de verificação do HDFS para armazenar compensações e garantir uma entrega de mensagem "exatamente uma vez". Mas docas ...
A reatribuição kafka de __consumer_offsets está incorreta?
Estou confuso com o funcionamento do kafka-reassignment-paritions no tópico __consumer_offsets? Começo com 1 zk e 1 kafka broker, crio um tópico de teste com replicação = 1, partição = 1. consumir e produzir. funciona bem. Eu vejo o tópico ...
Kafka Streams - envie tópicos diferentes, dependendo dos dados do Streams
Eu tenho um aplicativo kafka streams aguardando a publicação de registros no tópicouser_activity. Ele receberá dados json e, dependendo do valor de contra uma chave, desejo inserir esse fluxo em tópicos diferentes. Este é o meu código de ...
Spark Structured Streaming - Processando cada linha
Estou usando o streaming estruturado com o Spark 2.1.1. Preciso aplicar alguma lógica de negócios às mensagens recebidas (da fonte Kafka). essencialmente, preciso captar a mensagem, obter alguns valores-chave, procurá-los no HBase e executar ...
Como implementar o teste de contrato quando o kafka está envolvido na arquitetura de microsserviços?
Atualmente, estou trabalhando em um projeto em que temos a implementação kafka na arquitetura de micro serviços. Você conseguiu criar casos de teste de contrato para interação de tópicos mS a kafka usando pact-jvm? Minha implementação é ...
Não é possível manter o DStream para uso no próximo lote
JavaRDD<String> history_ = sc.emptyRDD(); java.util.Queue<JavaRDD<String> > queue = new LinkedList<JavaRDD<String>>(); queue.add(history_); JavaDStream<String> history_dstream = ssc.queueStream(queue); JavaPairDStream<String,ArrayList<String>> ...