Suchergebnisse für Anfrage "hdfs"
Schreiben Sie mit dem Schlüssel Spark - ein Spark-Job auf mehrere Ausgänge
Wie können Sie mit Spark in einem einzigen Job in mehrere Ausgaben schreiben, die vom Schlüssel abhängig sind? Verbunden:Schreiben Sie in mehrere Ausgaben mit der Taste Scalding Hadoop, ...
Jobtracker-API-Fehler - Aufruf von localhost / 127.0.0.1: 50030 aufgrund einer lokalen Ausnahme fehlgeschlagen: java.io.EOFException
Ich versuche, meinen Jobtracker mit Java zu verbinden.Die folgende Abbildung zeigt das Programm, das ich ausführen möchte
Hadoop dfs replizieren
Sorry Leute, nur eine einfache Frage, aber ich kann keine genaue Frage auf Google finden. Die Frage, was bedeutet dfs.replication? Wenn ich eine Datei mit de...
Concat Avro-Dateien mit avro-tools
Im Versuch, Avro-Dateien in einer großen Datei zusammenzuführen, ist das Problemconcat Befehl akzeptiert den Platzhalter @ nic hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroIch bekomme Exception im Thread "main" ...
Skalierbarer Bildspeicher
Derzeit entwerfe ich eine Architektur für eine webbasierte Anwendung, die auch eine Art Bildspeicher bieten soll. Benutzer können Fotos als eines der Hauptme...
Lesen Sie ganze Textdateien aus einer Komprimierung in Spark
Ich habe das folgende Problem: Angenommen, ich habe ein Verzeichnis mit komprimierten Verzeichnissen, die mehrere auf HDFS gespeicherte Dateien enthalten. Ich möchte eine RDD erstellen, die aus einigen Objekten des Typs T besteht, d. context = ...
Wie man Dateien im HDFS-Verzeichnis auflistet
Wie zähle ich Dateien im HDFS-Verzeichnis auf? Dies dient zum Auflisten von Dateien im Apache Spark-Cluster mit Scala. Ich sehe, dass es die Option sc.textfile () gibt, die aber auch den Inhalt liest. Ich möchte nur Dateinamen lesen. Ich habe ...
Speichern Sie JSON in HDFS mit python
Ich habe ein Python-Skript, das derzeit auf eine API zugreift, die JSON zurückgibt. Es nimmt dann den JSON-String und speichert ihn als Datei auf dem lokalen Dateisystem, wo ich ihn dann manuell in HDFS verschiebe. Ich möchte dies ändern, damit ...