Suchergebnisse für Anfrage "hdfs"
Warum registriert sich der Dockerized Hadoop-Datenknoten mit der falschen IP-Adresse?
Ich habe separate Docker (1.9.1) Images für Hadoop (2.7.1) -Namen- und -Datenknoten. Ich kann daraus Container erstellen und diese über ein benutzerdefiniertes Docker-Netzwerk kommunizieren lassen. Der Datenknoten scheint sich jedoch als ...
Wann sind Dateien "aufteilbar"?
Wenn ich spark verwende, stoße ich manchmal auf eine große Datei in einem BIENENSTOC table, und ich versuche manchmal, viele kleinere Dateien in einer HIVE-Tabelle zu verarbeiten. Ich verstehe, dass beim Optimieren von Spark-Jobs die ...
Das Root-Scratch-Verzeichnis: / tmp / hive unter HDFS sollte beschreibbar sein. Aktuelle Berechtigungen sind: rw-rw-rw- (unter Windows)
Ich führe Spark unter Windows 7 aus. Wenn ich Hive verwende, wird der folgende Fehler angezeigt: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-Die Berechtigungen sind wie folgt ...
konnte anstelle von minReplication (= 1) nur auf 0 Knoten repliziert werden. Es werden 4 Datenknoten ausgeführt, und in dieser Operation werden keine Knoten ausgeschlossen.
Ich weiß nicht, wie ich diesen Fehler beheben kann: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, ...
Wie wird die Datenblockgröße in Hadoop eingestellt? Ist es von Vorteil, es zu ändern?
Wenn wir die Datenblockgröße in Hadoop ändern können, teilen Sie mir bitte mit, wie das geht. Ist es vorteilhaft, die Blockgröße zu ändern? Wenn ja, lassen Sie es mich wissen, warum und wie? Wenn nein, warum und wie?
Wie entpacke ich .gz-Dateien in ein neues Verzeichnis in hadoop?
Ich habe eine Reihe von .gz-Dateien in einem Ordner in hdfs. Ich möchte alle diese .gz-Dateien in einen neuen Ordner in hdfs entpacken. Wie soll ich das machen?
Standardanzahl der Reduzierungen
Wenn wir in Hadoop nicht die Anzahl der Reduzierungen festgelegt haben, wie viele Reduzierungen werden dann erstellt? Die Anzahl der Mapper ist abhängig von (Gesamtdatengröße) / (Eingabe-Split-Größe), Z.B. Wenn die Datengröße 1 TB und die ...
Concat Avro-Dateien mit avro-tools
Im Versuch, Avro-Dateien in einer großen Datei zusammenzuführen, ist das Problemconcat Befehl akzeptiert den Platzhalter @ nic hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroIch bekomme Exception im Thread "main" ...
Wie füge ich eine typsichere Konfigurationsdatei hinzu, die sich auf HDFS befindet, um einen Spark-Submit (Cluster-Modus) durchzuführen?
Ich habe eine Spark-Anwendung (Spark 1.5.2), die Daten von Kafka an HDFS überträgt. Meine Anwendung enthält zwei Typesafe-Konfigurationsdateien, um bestimmte Dinge wie Kafka-Themen usw. zu konfigurieren. Jetzt möchte ich meine Anwendung mit ...
In CSV-Datei als Datenframe von hdfs lesen
Ich benutze pydoop, um eine Datei von hdfs einzulesen, und wenn ich benutze: import pydoop.hdfs as hd with hd.open("/home/file.csv") as f: print f.read() Es zeigt mir die Datei in stdout. Gibt es eine Möglichkeit, diese Datei als Datenframe ...