Suchergebnisse für Anfrage "apache-kafka"
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Kafka Spring Integration: Header kommen nicht für kafka consumer
Ich verwende Kafka Spring Integration zum Veröffentlichen und Konsumieren von Nachrichten mit Kafka. Ich sehe, dass Payload korrekt vom Produzenten an den Konsumenten übergeben wird, aber die Header-Informationen werden ...
Kafka auf Kubernetes Multi-Node
So ist mein Ziel hier, einen Cluster von mehreren Kafka-Brokern auf verteilte Weise aufzubauen. Aber ich sehe keinen Weg, um die Broker voneinander in Kenntnis zu setzen. Soweit ich weiß, benötigt jeder Broker eine separate ID in ...
Apache Flink-Streaming im Cluster teilt Jobs nicht mit Workern auf.
Mein Ziel ist es, einen Hochdurchsatz-Cluster mit Kafka als Quelle und Flink als Stream-Processing-Engine einzurichten. Folgendes habe ich getan: Ich habe auf dem Master und dem Slave einen 2-Knoten-Cluster mit der folgenden Konfiguration ...
Kafka kafka.common.MessageSizeTooLargeException at consumer
Für einige größere Nachrichten habe ich den folgenden Fehler festgestellt: kafka.common.MessageSizeTooLargeException: Message size is 1185198 bytes which exceeds the maximum configured message size of 1000012.So wiedieser ...
Was bestimmt Kafka Consumer Offset?
Ich bin relativ neu bei Kafka. Ich habe ein bisschen damit experimentiert, aber ein paar Dinge sind mir im Hinblick auf den Verbraucherversatz unklar. Soweit ich bis jetzt verstanden habe, wird der Offset, ab dem ein Verbraucher zu lesen beginnt, ...
kafka verliert alle Themen beim Neustart
Ich probiere Kafka (0.8.2.1) in einer VM aus, habe aber Probleme damit: Obwohl alles in Ordnung ist, solange die Maschine eingeschaltet bleibt (auch wenn ich ZK / Kafka neu starte), wenn ich die Maschine neu starte (nachdem ich sie ordnungsgemäß ...
Wie man Produzenten in kafka auflistet
So wie Kafka Offset Monitor eine Liste der aktiven Konsumenten eines Themas anzeigen kann, gibt es ein Tool oder eine Befehlszeilenschnittstelle oder irgendetwas, das den Namen der Produzenten auflistet, die zu einem bestimmten Thema veröffentlichen?
Kafka consumer - In welchem Verhältnis stehen Consumer-Prozesse und -Threads zu Topic-Partitionen?
Ich habe in letzter Zeit mit Kafka zusammengearbeitet und bin hinsichtlich der Verbraucher in einer Verbrauchergruppe ein bisschen verwirrt. Das Zentrum der Verwirrung ist, ob Verbraucher als Prozesse oder Threads implementiert werden sollen. Bei ...
Warum Kafka so schnell [geschlossen]
Wenn ich die gleiche Hardware habe, kann ich Kafka oder unsere aktuelle Lösung (ServiceMix / Camel) verwenden. Gibt es da einen Unterschied? Kann Kafka mit "größeren" Daten umgehen? Warum Es gibt einen Artikel darüber, wie schnell es sein ...