Kann Apache Flume HDFS Sink den dynamischen Pfad zum Schreiben akzeptieren?

Cloudera 5.4.2: Avro-Blockgröße ist ungültig oder zu groß, wenn Flume- und Twitter-Streaming verwendet wird

Es gibt ein winziges Problem, wenn ich Cloudera 5.4.2 versuche. Basis auf diesem Artikel Apache Flume - Abrufen von ...

Problem beim Lesen von Nachrichten in Kafka neu ausgleichen

Ich versuche, Nachrichten zum Thema Kafka zu lesen, kann sie jedoch nicht lesen. Der Vorgang wird nach einiger Zeit abgebrochen, ohne dass Nachrichten gelesen werden. Hier ist der Ausgleichsfehler, den ich bekomme: [2014-03-21 10:10:53,215] ...

Wie richte ich eine HTTP-Quelle zum Testen des Flume-Setups ein?

Ich bin ein Neuling bei Flume und Hadoop. Wir entwickeln ein BI-Modul, in dem wir alle Protokolle von verschiedenen Servern in HDFS speichern können.Dafür be...

Verwenden eines HDFS-Sink-and-Roll-Intervalls in Flume-ng, um 90 Sekunden Protokollinformationen zu stapeln

Ich versuche, Flume-ng zu verwenden, um 90 Sekunden Protokollinformationen zu erfassen und in eine Datei in HDFS zu kopieren. Ich habe flume arbeiten, um die...

Echtzeit-Protokollverarbeitung mit Apache Spark Streaming

Ich möchte ein System erstellen, in dem ich Protokolle in Echtzeit lesen und mit Apache Spark verarbeiten kann. Ich bin verwirrt, ob ich etwas wie Kafka oder Gerinne verwenden soll, um die Protokolle an Spark Stream weiterzuleiten, oder ob ich ...

Die HDFS-Spüle von Flume rollt ständig kleine Dateien

Ich versuche, Twitter-Daten mit flume in hdfs zu streamen und dies: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Was auch immer ich hier versuche, es erstellt weiterhin Dateien in HDFS ...

Wie installiere und konfiguriere ich Apache Flume?

Bin neu im Apache Flume. Ich muss die Rinne über der HDFS-Clusterumgebung installieren. Ich habe Google gemacht, alle sagen, dass ich die Cloudera-Distributi...

Getting 'flume.conf auf Änderungen überprüfen' in einer Schleife

Ich verwende Apache Flume 1.4.0, um Protokolldateien (auth.log) zu sammeln und in HDFS (Hadoop 2.6.0) zu speichern. Der verwendete Befehl lautet: bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agentDas ...

Wie werden der regex_extractor-Selektor und der Multiplexing-Interceptor in einem Kanal zusammen verwendet?

Ich teste Flume, um Daten in hHase zu laden, und denke über das parallele Laden von Daten mit dem Selector und dem Inteceptor von Flume nach, da zwischen Que...