Resultados da pesquisa a pedido "apache-kafka"
Classe KafkaUtils não encontrada no Spark streaming
Comecei com o Spark Streaming e estou tentando criar um aplicativo de exemplo que conte palavras de um fluxo Kafka. Embora compile comsbt package, quando eu corro, eu receboNoClassDefFoundError. ...
Como defino as opções de Java para o Kafka?
Eu tenho experimentado o Kafka e vi na documentação do site principal que você pode definir opções diferentes para a jvm, como tamanho da pilha e o coletor de lixo que ele ...
Spark streaming StreamingContext.start () - Erro ao iniciar o receptor 0
Eu tenho um projeto que está usando o spark streaming e estou executando-o com 'spark-submit', mas estou atingindo este erro: 15/01/14 10:34:18 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error starting receiver 0 - ...
Consumir do Kafka com falha O Iterator está no estado de falha
Estou recebendo exceção ao consumir as mensagens do kafka. org.springframework.messaging.MessagingException: Consuming from Kafka failed; nested exception is java.util.concurrent.ExecutionException: java.lang.IllegalStateException: Iterator is ...
Políticas de retenção Kafka
Suponha que eu possua uma instalação Kafka de vários intermediários (executando no mesmo host) com 3 intermediários e 50 tópicos, cada um dos quais configurado para ter 7 partições e fator de replicação 3. Tenho 50 GB de memória para gastar com ...
Throuput lento do consumidor ao usar 2 configurações de consumidor
Usando a extensão spring-integration-kafka e a seguinte configuração: <int-kafka:zookeeper-connect id="zookeeperConnect" zk-connect="#{kafkaConfig['zooKeeperUrl']}" zk-connection-timeout="10000" zk-session-timeout="10000" zk-sync-time="2000" /> ...
Kafka Producer - Por padrão, suporta Multithreading?
Eu sou novato em kafka. Criei exemplos de programas de produtores e grupos de consumidores do kafka sync usando o kafka_2.9.2-0.8.1.1. Portanto, minha pergunta é: preciso adicionar código multithreading ao produtor (como a classe consumergroup) ...
Algoritmo de reequilíbrio do consumidor Kafka
Alguém pode me dizer qual é o algoritmo de reequilíbrio para os consumidores Kafka? Gostaria de entender como a contagem de partições e os segmentos do consumidor afetam isso. Obrigado,
Java, Como obter o número de mensagens em um tópico no apache kafka
Estou usando o apache kafka para mensagens. Eu implementei o produtor e consumidor em Java. Como podemos obter o número de mensagens em um tópico?
processamento de log em tempo real usando o apache spark streaming
Quero criar um sistema onde possa ler logs em tempo real e usar o apache spark para processá-los. Estou confuso se devo usar algo como kafka ou flume para passar os logs para iniciar o fluxo ou devo passar os logs usando soquetes. Passei por um ...