Resultados da pesquisa a pedido "apache-kafka"
Conexão dinâmica de um fluxo de entrada Kafka a vários fluxos de saída
Existe funcionalidade incorporada ao Kafka Streams que permite conectar dinamicamente um único fluxo de entrada a vários fluxos de saída?KStream.branch permite ramificação com base em predicados verdadeiro / falso, mas não é exatamente isso que ...
Dados de replicação do Oracle usando o Apache kafka
Gostaria de expor a tabela de dados do meu banco de dados oracle e expor no apache kafka. é tecnicamente possível? Também preciso transmitir dados alterados da minha tabela oracle e notificá-los para Kafka. você conhece boa documentação deste ...
Testar a topologia do Kafka Streams
Estou procurando uma maneira de testar um aplicativo Kafka Streams. Para que eu possa definir os eventos de entrada e a suíte de testes me mostre a saída. Isso é possível sem uma configuração real do Kafka?
Lidando com mensagens ruins usando a API do Kafka Streams
Eu tenho um fluxo básico de processamento de stream que parece master topic -> my processing in a mapper/filter -> output topicse eu estou pensando sobre a melhor maneira de lidar com "mensagens ruins". Isso pode ser algo como mensagens que não ...
Como visualizar a mensagem kafka
existe alguma maneira de visualizar o conteúdo da mensagem enviada para kafka para um determinado tópico? Diga algo como ver as últimas 5 mensagens deste tópico, se possível. obrigado, Sandeep
É possível no Debezium configurar table_name => mapeamento de tópicos kafka?
Eu lihttp://debezium.io/docs/connectors/mysql/ [http://debezium.io/docs/connectors/mysql/]mas não consegui encontrar nenhuma informação sobre se o debezium pode ser configurado para que alterações de 2 (ou mais) tabelas possam ser gravadas no ...
Como gravar a saída do Spark Streaming no HDFS sem substituir
Após algum processamento, tenho um DStream [String, ArrayList [String]]; portanto, quando eu estou gravando em hdfs usando saveAsTextFile e depois de cada lote, os dados são substituídos; portanto, como gravar um novo resultado acrescentando ...
O Spring Kafka Producer não está enviando para o Kafka 1.0.0 (o Magic v1 não suporta cabeçalhos de registros)
Estou usando esta configuração do docker-compose para configurar o Kafka localmente:https://github.com/wurstmeister/kafka-docker/ [https://github.com/wurstmeister/kafka-docker/] docker-compose up funciona bem, a criação de tópicos via shell ...
Como exibir um DataFrame de streaming (como a mostra falha com o AnalysisException)?
Então, eu tenho alguns dados que estou transmitindo em um tópico Kafka, estou pegando esses dados e colocando-os em umDataFrame. Quero exibir os dados dentro do DataFrame: import os from kafka import KafkaProducer from pyspark.sql import ...
Consumidor preso na reinscrição
Eu li outros tópicos e resolvi o problema usando um novo ID de grupo, mas gostaria de entender o que poderia causar isso. Eu tenho um tópico com 16 partições, eu configurei session.timeout.ms = 30000 e max.poll.interval.ms = 30000000. Eu ...