Resultados da pesquisa a pedido "apache-kafka"
Leia o tópico Kafka em uma tarefa em lote do Spark
Estou escrevendo um trabalho em lotes Spark (v1.6.0) que lê de um tópico Kafka. Para isso eu posso usarorg.apache.spark.streaming.kafka.KafkaUtils#createRDD no entanto, preciso definir os deslocamentos para todas as partições e ...
Como um deslocamento expira para um grupo de consumidores Apache Kafka?
Eu estava fazendo alguns testes em um tópico antigo quando percebi alguns comportamentos estranhos. Ao ler o registro de Kafka, notei a mensagem "removidos 8 deslocamentos expirados": [GroupCoordinator 1001]: Stabilized group GROUP_NAME ...
NoBrokersAvailable: NoBrokersAvailable-Kafka Error
Eu já comecei a aprender Kafka. Tentando operações básicas nele. Entrei em um ponto sobre os "Corretores". Meu kafka está em execução, mas quando eu quero criar uma partição. from kafka import TopicPartition (ERROR THERE) consumer ...
Como confirmar manualmente o deslocamento no fluxo direto do Spark Kafka?
Eu olhei em volta, mas não encontrei uma resposta satisfatória para isso. Talvez esteja faltando alguma coisa. Por favor ajude. Temos um aplicativo de streaming Spark consumindo um tópico Kafka, que precisa garantir o processamento de ponta a ...
Diferença entre session.timeout.ms e max.poll.interval.ms para o Kafka 0.10.0.0 e versões posteriores
Não sei por que precisamos de ambossession.timeout.ms emax.poll.interval.ms e quando usaríamos um ou outro ou ambos? Parece que ambos indicam que o limite superior do coordenador de tempo aguardará para obter a pulsação do consumidor antes de ...
Tópico Kafka por produtor
Vamos dizer que tenho vários dispositivos. Cada dispositivo possui diferentes tipos de sensores. Agora, quero enviar os dados de cada dispositivo para cada sensor para o kafka. Mas estou confuso sobre os tópicos kafka. Para processar esses dados ...
Ordenação de múltiplas partições Kafka
Estou ciente de que não é possível solicitar várias partições no Kafka e que a ordenação de partições só é garantida para um único consumidor dentro de um grupo (para uma única partição). No entanto, com o Kafka Streams 0.10, agora é possível ...
Como posso obter o valor de deslocamento no KStream
Estou desenvolvendo um PoC com o Kafka Streams. Agora, preciso obter o valor de deslocamento no consumidor do fluxo e usá-lo para gerar uma chave exclusiva(topic-offset)->hash para cada mensagem. O motivo é: os produtores são syslog e apenas ...
KafkaAvroDeserializer não retorna SpecificRecord, mas retorna GenericRecord
MinhasKafkaProducer é capaz de usarKafkaAvroSerializer serializar objetos para o meu tópico. Contudo,KafkaConsumer.poll() retorna desserializadoGenericRecord em vez da minha classe serializada. MyKafkaProducer KafkaProducer<CharSequence, ...
Como converter JavaPairInputDStream em DataSet / DataFrame no Spark
Estou tentando receber dados de streaming dekafka. Nesse processo, sou capaz de receber e armazenar os dados de streaming emJavaPairInputDStream. Agora eu preciso analisar esses dados sem armazená-los em qualquer banco de ...