Limitar o tamanho dos lotes Kafka ao usar o Spark Streaming

É possível limitar o tamanho dos lotes retornados pelo consumidor Kafka para o Spark Streaming? Estou perguntando, porque o primeiro lote que recebo tem centenas de milhões de registros e leva muito tempo para processá-los e conferi-los.

Onde posso encontrar o repositório maven para kafka?

Eu quero tentar kafka 0,8 (como eu entendo que já está liberado). Mas onde posso encontrar o repositório kafka maven?E qual URL de repositório adicional devo...

Concorrência de transmissão Kafka?

Eu tenho algum código básico do Kafka Streaming que lê registros de um tópico, faz algum processamento e gera registros para outro tópico. Como o streaming Kafka lida com a simultaneidade? Tudo é executado em um único thread? Não vejo isso ...

Exceção ao acessar o KafkaOffset a partir do RDD

Eu tenho um consumidor Spark que transmite de Kafka. Estou tentando gerenciar deslocamentos para a semântica exatamente uma vez. No entanto, ao acessar o deslocamento, lança a seguinte exceção: "java.lang.ClassCastException: ...

Verifique se o sistema está conectado ao Kafka

Preciso escrever um teste de fumaça em Java que valide se o sistema está conectado ao kafka, Alguém tem alguma ideia? Eu encontrei este post: Como verificar se o Kafka Server está sendo ...

Fluxo de dados Kafka Storm HDFS / S3

Não está claro se você pode fazer um fan-out (duplicação) em Kafka como você pode em Flume.Eu gostaria que o Kafka salvasse os dados no HDFS ou no S3 e envia...

Usando o Kafka como um Eventstore (CQRS). Boa ideia?

Embora eu tenha me deparadoKafka antes, eu só recentemente percebi que Kafka talvez possa ser usado como (a base de) umCQRS, eventstore.Um dos principais pon...

Existe uma maneira de excluir todos os dados de um tópico ou excluir o tópico antes de cada execução?

Kafka: Não é possível criar vários consumidores de fluxo

Acabei de me levantar e correr com o Kafka 0.8 beta 1. Eu tenho um exemplo muito simples em funcionamento, o problema é que eu só posso obter um consumidor d...

Como usar o aplicativo Android como um "cliente de produção" para Kafka?

É possível / faz sentido usar um aplicativo Android como um "cliente de produção" para o Apache Kafka? Digamos que meu aplicativo Android precise capturar e analisar dados de tempo de reação. O objetivo é coletar todos os dados e mostrar o tempo ...