Suchergebnisse für Anfrage "hdfs"
Spark: Speichern von RDD in einem bereits vorhandenen Pfad in HDFS
Ich kann die RDD-Ausgabe mit @ in HDFS speicher saveAsTextFile Methode. Diese Methode löst eine Ausnahme aus, wenn der Dateipfad bereits vorhanden ist. Ich habe einen Anwendungsfall, in dem ich das RDDS in einem bereits vorhandenen Dateipfad in ...
Spark braucht HDFS
Hallo kann mir jemand erklären, braucht Apache 'Spark Standalone' HDFS? Wenn erforderlich, wie Spark die HDFS-Blockgröße während der Ausführung der Spark-Anwendung verwendet. Ich meine, ich versuche zu verstehen, welche Rolle HDFS während der ...
Get Dateien, die in den letzten 5 Minuten in Hadoop mit Shell-Skript erstellt wurden
Ich habe Dateien in HDFS als: drwxrwx--- - root supergroup 0 2016-08-19 06:21 /tmp/logs/root/logs/application_1464962104018_1639064 drwxrwx--- - root supergroup 0 2016-08-19 ...
Wie kann ich ein RDD in HDFS speichern und später wieder einlesen?
Ich habe eine RDD, deren Elemente vom Typ (Long, String) sind. Aus irgendeinem Grund möchte ich die gesamte RDD im HDFS speichern und diese RDD später auch wieder in einem Spark-Programm lesen. Ist das möglich? Und wenn ja, wie?
Das Root-Scratch-Verzeichnis: / tmp / hive unter HDFS sollte beschreibbar sein. Aktuelle Berechtigungen sind: -wx ------
Ich habe die Berechtigung mit dem Befehl hdfs geändert. Trotzdem wird derselbe Fehler angezeigt. Das Root-Scratch-Verzeichnis: / tmp / hive unter HDFS sollte beschreibbar sein. Aktuelle Berechtigungen sind: -wx ------ Java Programm, das ich ...