Resultados da pesquisa a pedido "apache-kafka-streams"
Ordenação de múltiplas partições Kafka
Estou ciente de que não é possível solicitar várias partições no Kafka e que a ordenação de partições só é garantida para um único consumidor dentro de um grupo (para uma única partição). No entanto, com o Kafka Streams 0.10, agora é possível ...
Conexão dinâmica de um fluxo de entrada Kafka a vários fluxos de saída
Existe funcionalidade incorporada ao Kafka Streams que permite conectar dinamicamente um único fluxo de entrada a vários fluxos de saída?KStream.branch permite ramificação com base em predicados verdadeiro / falso, mas não é exatamente isso que ...
Filtragem de fluxos Kafka: lado do corretor ou consumidor?
Eu estou olhando para córregos kafka. Quero filtrar meu fluxo usando um filtro com seletividade muito baixa (um em poucos milhares). Eu estava olhando para este ...
Por que o Apache Kafka Streams usa o RocksDB e se é possível alterá-lo?
Durante a investigação de novos recursos no Apache Kafka 0.9 e 0.10, usamos o KStreams e o KTables. Há um fato interessante, que o Kafka usa o RocksDB internamente. VejoIntrodução ao Kafka Streams: processamento de ...
Testar a topologia do Kafka Streams
Estou procurando uma maneira de testar um aplicativo Kafka Streams. Para que eu possa definir os eventos de entrada e a suíte de testes me mostre a saída. Isso é possível sem uma configuração real do Kafka?
Streaming de mensagens de um Kafka Cluster para outro
Atualmente, estou tentando, facilmente, transmitir mensagens de um Tópico em um cluster Kafka para outro (Remoto -> Cluster Local). A idéia é usar o Kafka-Streams imediatamente, para que não seja necessário replicar as mensagens reais no cluster ...
Como posso obter o valor de deslocamento no KStream
Estou desenvolvendo um PoC com o Kafka Streams. Agora, preciso obter o valor de deslocamento no consumidor do fluxo e usá-lo para gerar uma chave exclusiva(topic-offset)->hash para cada mensagem. O motivo é: os produtores são syslog e apenas ...
Como confirmar manualmente com o Kafka Stream?
Existe uma maneira de confirmar manualmente com o Kafka Stream? Geralmente, usando oKafkaConsumer, Faço algo como abaixo: while (true) { ConsumerRecords<String, String> records = consumer.poll(100); for (ConsumerRecord<String, String> record : ...
Como filtrar chaves e valores com um processador usando o DSL de fluxo Kafka
Eu tenho um processador que interage com uma StateStore para filtrar e fazer lógica complexa nas mensagens. Noprocess(key,value) método que eu usocontext.forward(key,value) para enviar as chaves e os valores que eu preciso. Para fins de ...
Concorrência de transmissão Kafka?
Eu tenho algum código básico do Kafka Streaming que lê registros de um tópico, faz algum processamento e gera registros para outro tópico. Como o streaming Kafka lida com a simultaneidade? Tudo é executado em um único thread? Não vejo isso ...