Suchergebnisse für Anfrage "hadoop"

10 die antwort

Checksum Verifikation in Hadoop

Müssen wir die Prüfsumme überprüfen, nachdem wir Dateien von einem Linux-Server über ein Webhdfs nach Hadoop (HDFS) verschoben haben? Ich möchte sicherstellen, dass die Dateien auf dem HDFS nach dem Kopieren nicht beschädigt sind. Aber ist eine ...

12 die antwort

Finden der Gesamtanzahl der Zeilen in einer über hdfs verteilten Datei mithilfe der Befehlszeile

Ich arbeite an einem Cluster, in dem sich ein Datensatz in @ befindehdfs verteilt. Folgendes habe ich: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 /bdatest/clm/data/_SUCCESS ...

4 die antwort

Hadoop 2.0-Datenschreiboperationsbestätigung

Ich habe eine kleine Frage zu Hadoop-Daten-Schreibvorgängen Aus der Apache-Dokumentation Für den allgemeinen Fall, dass der Replikationsfaktor drei beträgt, besteht die HDFS-Platzierungsrichtlinie darin, eine Replik auf einem Knoten im lokalen ...

TOP-Veröffentlichungen

4 die antwort

Hadoop 2.0 Name Node, Secondary Node und Checkpoint Node für High Availability

Nach dem Lesen von ApacheHadoop Dokumentation [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , es gibt eine kleine Verwirrung im Verständnis der Verantwortlichkeiten des Sekundärknotens und des ...

8 die antwort

Wo sendet das hadoop mapreduce-Framework meine System.out.print () -Anweisungen? (stdout)

Ich möchte ein Mapreduce-Skript debuggen und habe ohne großen Aufwand versucht, einige print-Anweisungen in mein Programm zu integrieren. Aber ich kann sie in keinem der Protokolle finden.

6 die antwort

Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS

folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...

4 die antwort

Speichern Sie JSON in HDFS mit python

Ich habe ein Python-Skript, das derzeit auf eine API zugreift, die JSON zurückgibt. Es nimmt dann den JSON-String und speichert ihn als Datei auf dem lokalen Dateisystem, wo ich ihn dann manuell in HDFS verschiebe. Ich möchte dies ändern, damit ...

4 die antwort

Wie wird die ResourceManager-Weboberfläche als Benutzer verwendet?

Jedes Mal versuche ich, die Hadoop Resource Manager-Weboberfläche zu verwenden http: //resource-manger.host: 8088 / cluster / [http://resource-manger.host:8088/cluster/]) Ich bin als dr.who eingeloggt. Meine Frage, wie kann ich mich als anderer ...

2 die antwort

FileNotFoundException bei Verwendung des Hadoop Distributed Cache

dieses Mal sollte jemand bitte relpy ich habe Mühe, meinen Code mit verteiltem cahe laufen zu lassen. Ich habe bereits die Dateien auf HDFS, aber wenn ich diesen Code ausführen: import java.awt.image.BufferedImage; import ...

4 die antwort

Hive FEHLGESCHLAGEN: ParseException-Zeile 2: 0 erkennt keine Eingabe in der Nähe von '' macaddress '' 'CHAR' '(' in der Spaltenspezifikation

Ich habe versucht zu laufenhive -v -f sqlfile.sql Hier ist der Inhalt der Datei CREATE TABLE UpStreamParam ( 'macaddress' CHAR(50), 'datats' BIGINT, 'cmtstimestamp' BIGINT, 'modulation' INT, 'chnlidx' INT, 'severity' BIGINT, 'rxpower' FLOAT, ...