Suchergebnisse für Anfrage "apache-kafka"
Verwenden Sie das Schema, um AVRO-Nachrichten mit Spark in DataFrame @ zu konvertiere
Gibt es eine Möglichkeit, ein Schema zum Konvertieren von @ zu verwende avro [/questions/tagged/avro] Nachrichten von kafka [/questions/tagged/kafka] mitFunk [/questions/tagged/spark] zu dataframe [/questions/tagged/dataframe]? Die Schemadatei ...
Kafka-Consumer-Abruf von Metadaten für Themen fehlgeschlagen
Ich versuche, einen Java-Client für die Kafka- und ZooKeeper-Server eines Drittanbieters zu schreiben. Ich kann Themen auflisten und beschreiben, aber wenn ich versuche, sie zu lesen, erscheint einClosedChannelException wird ausgelöst. Ich ...
Entfernen einer Kafka-Verbrauchergruppe in zookeeper
Ich verwende kafka_2.9.2-0.8.1.1 mit zookeeper 3.4.6. Gibt es ein Dienstprogramm, mit dem eine Verbrauchergruppe automatisch aus zookeeper entfernt werden kann? Oder kann ich einfach alles unter / consumer / [group_id] in zookeeper entfernen? ...
Ist Zookeeper ein Muss für Kafka?
In Kafka möchte ich nur einen einzelnen Broker, ein einzelnes Thema und eine einzelne Partition mit einem Produzenten und mehreren Konsumenten verwenden (wobei jeder Konsument eine eigene Kopie der Daten vom Broker erhält). Aus diesem Grund ...
KafkaAvroDeserializer gibt SpecificRecord nicht zurück, sondern GenericRecord
MyKafkaProducer kann @ verwendKafkaAvroSerializer, um Objekte zu meinem Thema zu serialisieren. Jedoch,KafkaConsumer.poll() kehrt deserialisiert zurückGenericRecord anstelle meiner serialisierten Klasse. ...
Spark Python Avro Kafka Deserialiser
Ich habe einen Kafka-Stream in einer Python-Spark-App erstellt und kann jeden Text analysieren, der durch ihn kommt. kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})Ich möchte dies ändern, um ...
Verzögerung beim Konsumieren von Nachrichten in Apache Kafka
Ich benutze Kafka 0.8.0 und versuche, das unten genannte Szenario zu erreichen. JCA API (Dient als Produzent und sendet Daten an) -----> Consumer ------> HBase Ich sende jede Nachricht an den Verbraucher, sobald ich die Daten mit dem JCA-Client ...
Echtzeit-Protokollverarbeitung mit Apache Spark Streaming
Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und mit Apache Spark verarbeiten kann. Ich bin verwirrt, ob ich etwas wie Kafka oder Gerinne verwenden soll, um die Protokolle an Spark Stream weiterzuleiten, oder ob ich ...
Kafka Avro Consumer mit Decoder-Problemen
Wenn ich versucht habe zu rennenKafka Consumer mit Avro [https://gist.github.com/yaroncon/97082e0b794d83fccf12] Über den Daten mit meinem jeweiligen Schema wird der Fehler "AvroRuntimeException: Fehlerhafte Daten. Länge ist negativ: -40" ...
Verbindung zwischen Apache Kafka und JMS
Ich habe mich gefragt, ob Apache Kafka kommunizieren und Nachrichten an JMS senden kann. Kann ich eine Verbindung zwischen ihnen herstellen? Zum Beispiel verwende ich JMS in meinem System und es sollte Nachrichten an das andere System senden, das ...