Suchergebnisse für Anfrage "hadoop"
Checksum Verifikation in Hadoop
Müssen wir die Prüfsumme überprüfen, nachdem wir Dateien von einem Linux-Server über ein Webhdfs nach Hadoop (HDFS) verschoben haben? Ich möchte sicherstellen, dass die Dateien auf dem HDFS nach dem Kopieren nicht beschädigt sind. Aber ist eine ...
Finden der Gesamtanzahl der Zeilen in einer über hdfs verteilten Datei mithilfe der Befehlszeile
Ich arbeite an einem Cluster, in dem sich ein Datensatz in @ befindehdfs verteilt. Folgendes habe ich: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 /bdatest/clm/data/_SUCCESS ...
Hadoop 2.0-Datenschreiboperationsbestätigung
Ich habe eine kleine Frage zu Hadoop-Daten-Schreibvorgängen Aus der Apache-Dokumentation Für den allgemeinen Fall, dass der Replikationsfaktor drei beträgt, besteht die HDFS-Platzierungsrichtlinie darin, eine Replik auf einem Knoten im lokalen ...
Hadoop 2.0 Name Node, Secondary Node und Checkpoint Node für High Availability
Nach dem Lesen von ApacheHadoop Dokumentation [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , es gibt eine kleine Verwirrung im Verständnis der Verantwortlichkeiten des Sekundärknotens und des ...
Wo sendet das hadoop mapreduce-Framework meine System.out.print () -Anweisungen? (stdout)
Ich möchte ein Mapreduce-Skript debuggen und habe ohne großen Aufwand versucht, einige print-Anweisungen in mein Programm zu integrieren. Aber ich kann sie in keinem der Protokolle finden.
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Speichern Sie JSON in HDFS mit python
Ich habe ein Python-Skript, das derzeit auf eine API zugreift, die JSON zurückgibt. Es nimmt dann den JSON-String und speichert ihn als Datei auf dem lokalen Dateisystem, wo ich ihn dann manuell in HDFS verschiebe. Ich möchte dies ändern, damit ...
Wie wird die ResourceManager-Weboberfläche als Benutzer verwendet?
Jedes Mal versuche ich, die Hadoop Resource Manager-Weboberfläche zu verwenden http: //resource-manger.host: 8088 / cluster / [http://resource-manger.host:8088/cluster/]) Ich bin als dr.who eingeloggt. Meine Frage, wie kann ich mich als anderer ...
FileNotFoundException bei Verwendung des Hadoop Distributed Cache
dieses Mal sollte jemand bitte relpy ich habe Mühe, meinen Code mit verteiltem cahe laufen zu lassen. Ich habe bereits die Dateien auf HDFS, aber wenn ich diesen Code ausführen: import java.awt.image.BufferedImage; import ...
Hive FEHLGESCHLAGEN: ParseException-Zeile 2: 0 erkennt keine Eingabe in der Nähe von '' macaddress '' 'CHAR' '(' in der Spaltenspezifikation
Ich habe versucht zu laufenhive -v -f sqlfile.sql Hier ist der Inhalt der Datei CREATE TABLE UpStreamParam ( 'macaddress' CHAR(50), 'datats' BIGINT, 'cmtstimestamp' BIGINT, 'modulation' INT, 'chnlidx' INT, 'severity' BIGINT, 'rxpower' FLOAT, ...