Suchergebnisse für Anfrage "hdfs"
Hadoop 2.0 Name Node, Secondary Node und Checkpoint Node für High Availability
Nach dem Lesen von ApacheHadoop Dokumentation [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , es gibt eine kleine Verwirrung im Verständnis der Verantwortlichkeiten des Sekundärknotens und des ...
Finden der Gesamtanzahl der Zeilen in einer über hdfs verteilten Datei mithilfe der Befehlszeile
Ich arbeite an einem Cluster, in dem sich ein Datensatz in @ befindehdfs verteilt. Folgendes habe ich: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 /bdatest/clm/data/_SUCCESS ...
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Speichern Sie JSON in HDFS mit python
Ich habe ein Python-Skript, das derzeit auf eine API zugreift, die JSON zurückgibt. Es nimmt dann den JSON-String und speichert ihn als Datei auf dem lokalen Dateisystem, wo ich ihn dann manuell in HDFS verschiebe. Ich möchte dies ändern, damit ...
So übergeben Sie Jar-Dateien an das Shell-Skript im OOZIE-Shell-Knoten
Hi Beim Ausführen eines Java-Programms in einem Skript, das im Oozie Shell Action-Workflow ausgeführt wird, tritt der folgende Fehler auf. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread ...
Verbindung mit Azure Blob-Speicher mit lokalem Hadoop nicht möglich
Während des Verbindungsaufbaus zumlocal hadoop mit demAZURBLA KLECK storage (dh mit demblob Speicher als HDFS) mit Hadoop Version - 2.7.1 löst es eine Ausnahme aus Hier habe ich den lokalen Cluster durch Setzen der Eigenschaft @ ...
Wie schreibe ich mit Scala auf HDFS?
Ich lerne Scala und muss eine benutzerdefinierte Datei in HDFS schreiben. Ich habe mein eigenes HDFS auf einem Cloudera-Image mit VMware Fusion auf meinem Laptop ausgeführt. Dies ist mein aktueller Code: package org.glassfish.samples import ...
Wie kann man alle csv-Dateien an einem HDFS-Speicherort in der Spark Scala-Shell auflisten?
Der Zweck dieses Befehls besteht darin, eine Kopie jeder Datendatei an einem zweiten Speicherort in HDFS zu bearbeiten und zu speichern. Ich werde @ verwend RddName.coalesce(1).saveAsTextFile(pathName), um das Ergebnis in HDFS ...
Wie funktioniert der Failover-Prozess von Hadoop Namenode?
Hadoop defintive Leitfaden sagt - Jeder Name läuft Ein einfacher Failover-Controller-Prozess, dessen Aufgabe es istm seinen Namenode auf Fehler zu überwach (unter Verwendung eines einfachen Heartbeat-Mechanismus) und Auslösen eines Failovers, ...
Zugriff auf HDFS HA vom Spark-Job (UnknownHostException-Fehler)
ch habe einen Apache Mesos 0.22.1-Cluster (3 Master und 5 Slaves), auf dem Cloudera HDFS (2.5.0-cdh5.3.1) in HA-Konfiguration und Spark 1.5.1-Framework ausgeführt wir Wenn ich versuche, kompilierte HdfsTest.scala-Beispiel-App per Funk ...