Suchergebnisse für Anfrage "sequencefile"

2 die antwort

Verwenden von Pyspark, Lesen / Schreiben von 2D-Bildern auf dem Hadoop-Dateisystem

Ich möchte in der Lage sein, Bilder in einem HDFS-Dateisystem zu lesen / zu schreiben und die HDFS-Lokalität zu nutzen. Ich habe eine Sammlung von Bildern, bei denen jedes Bild aus @ besteh 2D Arrays von uint16 grundlegende zusätzliche ...

1 die antwort

Schreiben und Lesen von Raw-Byte-Arrays in Spark mithilfe der Sequenzdatei SequenceFile

Wie schreibst duRDD[Array[Byte]] zu einer Datei mit Apache Spark und lesen Sie es wieder zurück?

6 die antwort

hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z

Ich versuche, eine komprimierte Sequenzdatei mit schnellen Blöcken aus einem Kartenverkleinerungsjob zu schreiben. Ich verwende Hadoop 2.0.0-CDH4.5.0 und Snappy-Java 1.0.4.1 Hier ist mein Code: package jinvestor.jhouse.mr; import ...

TOP-Veröffentlichungen

1 die antwort

Erweitern Sie SequenceFileInputFormat um Dateiname + Offset

Ich möchte in der Lage sein, ein benutzerdefiniertes InputFormat zu erstellen, das Sequenzdateien liest, aber zusätzlich den Dateipfad und den Versatz in der...

4 die antwort

Hadoop HDFS: Lesen Sie Sequenzdateien, die geschrieben werden

Ich benutze Hadoop 1.0.3.Ich schreibe Protokolle in eine Hadoop-Sequenzdatei in HDFS, rufe nach jedem Protokollpaket syncFS () auf, schließe die Datei jedoch...

1 die antwort

Konvertieren von CSV in SequenceFile

1 die antwort

Wie kann ich Mahouts Sequenzdatei-API-Code verwenden?