GZIP-Unterstützung in Spark

Für ein Big-Data-Projekt plane ich die VerwendungFunke, das einige nette Features wie In-Memory-Berechnungen für wiederholte Workloads hat. Es kann auf lokal...

Wie sortiere ich Daten in einer Karte, um Hadoop zu reduzieren?

Wie finde ich die Job-ID eines Hadoop-Jobs im Code?

Ausführen eines Jobs mit Hadoop-Streaming und mrjob: PipeMapRed.waitOutputThreads (): Unterprozess mit Code 1 fehlgeschlagen

Mapper-Klasse nicht gefunden

Manchmal beklagt sich mein MR-Job, dass die MyMapper-Klasse nicht gefunden wurde. Und das muss ich job.setJarByClass (MyMapper.class) geben; um es zu sagen, ...

Lesen von HDFS und lokalen Dateien in Java

Ich möchte Dateipfade lesen, unabhängig davon, ob sie HDFS oder lokal sind. Derzeit übergebe ich die lokalen Pfade mit dem Präfix file: // und HDFS-Pfade mit...

Hadoop MapReduce-Sortierung reduziert die Ausgabe mit der Taste

Unten gibt es ein Kartenreduzierungsprogramm, das Wörter aus mehreren Textdateien zählt. Mein Ziel ist es, das Ergebnis in absteigender Reihenfolge in Bezug ...

Spark-Konfiguration: SPARK_MEM vs. SPARK_WORKER_MEMORY

In spark-env.sh können die folgenden Umgebungsvariablen konfiguriert werden:

Was ist der Grund für die Verwendung von Writable-Wrapper-Klassen in Hadoop MapReduce für Java-Typen?

Es scheint mir, dass ein

MapReduce-Job mit gemischten Datenquellen: HBase-Tabelle und HDFS-Dateien

Ich muss einen MR-Job implementieren, der auf Daten aus HBase-Tabellen- und HDFS-Dateien zugreift. Beispielsweise liest Mapper Daten aus HBase-Tabellen und a...