Suchergebnisse für Anfrage "kafka-consumer-api"
Limit Kafka-Stapelgröße bei Verwendung von Spark Streaming
Ist es möglich, die Größe der vom Kafka-Consumer für Spark Streaming zurückgegebenen Stapel zu begrenzen? Ich frage, weil der erste Stapel, den ich erhalte, Hunderte von Millionen Datensätzen enthält und es Ewigkeiten dauert, sie zu verarbeiten ...
Kafka-Consumer-Konfiguration / Leistungsprobleme
Ich probiere kafka als Alternative zu AWS SQS aus. Die Motivation ist in erster Linie, die Leistung dort zu verbessern, wo kafka die Einschränkung eliminieren würde, 10 Nachrichten gleichzeitig mit einer Obergrenze von 256 KB zu empfangen. Hier ...
Differenz zwischen session.timeout.ms und max.poll.interval.ms für Kafka 0.10.0.0 und spätere Versionen
Ich bin unklar, warum wir beide brauchensession.timeout.ms undmax.poll.interval.ms und wann würden wir den einen oder anderen oder beide verwenden? Anscheinend geben beide an, dass die obere Grenze des Zeitkoordinators auf den Herzschlag des ...
Kafka Bestellung mehrerer Partitionen
Mir ist bekannt, dass es nicht möglich ist, mehrere Partitionen in Kafka zu bestellen, und dass die Partitionsreihenfolge nur für einen einzelnen Consumer innerhalb einer Gruppe (für eine einzelne Partition) garantiert ist. Aber ist es jetzt mit ...
Ein und dieselbe Nachricht mehrmals von Kafka lesen
Ich benutzeSpring Kafka API [http://docs.spring.io/spring-kafka/reference/htmlsingle/#_retrying_deliverieshttp://] um Kafka Consumer mit manueller Offsetverwaltung zu implementieren: @KafkaListener(topics = "some_topic") public void ...
NoBrokersAvailable: NoBrokersAvailable-Kafka Error
ch habe bereits angefangen, Kafka zu lernen. Probieren Sie grundlegende Operationen aus. Ich habe an einem Punkt festgehalten, der sich mit den "Brokern" befasst. Meine Kafka läuft, aber wenn ich eine Partition erstellen möchte. from kafka ...
Wie man den Gruppennamen festlegt, wenn man Nachrichten in kafka über die Kommandozeile konsumiert
Eine Idee, wie Sie den Gruppennamen festlegen, wenn Sie Nachrichten in kafka über die Befehlszeile empfangen. Ich habe es mit dem folgenden Befehl versucht: bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic ...
Kafka-Thema in einem Spark-Batch-Job lesen
Ich schreibe einen Spark-Stapeljob (v1.6.0), der aus einem Kafka-Thema liest. Dafür kann ichorg.apache.spark.streaming.kafka.KafkaUtils#createRDD Ich muss jedoch die Offsets für alle Partitionen festlegen und sie auch irgendwo speichern (ZK? ...
Kafka-Themen und Partitionen verstehen
Ich fange an, Kafka für Unternehmenslösungszwecke zu lernen. ährend meiner Lesungen kamen mir einige Fragen in den Sin Wenn ein Produzent eine Nachricht erstellt - wird das @ angegebThem Es möchte die Nachricht an senden, ist das richtig? ...
Kafka 0.9.0.1 Java Consumer bleibt in awaitMetadataUpdate () hängen
Ich versuche, einen einfachen Kafka-Konsumenten mit der Java-API v0.9.0.1 zum Laufen zu bringen. Der von mir verwendete Kafka-Server ist ein Docker-Container, auf dem auch Version 0.9.0.1 ausgeführt wird. Unten ist der Verbrauchercode: public ...