Suchergebnisse für Anfrage "hdfs"
Gibt es in HDFS einen Speicherverlust, wenn wir kleine Dateien verwenden?
Ich habe unten zitiert: Beachten Sie jedoch, dass kleine Dateien nicht mehr Speicherplatz beanspruchen, als zum Speichern des Rohinhalts der Datei erforderlich ist. Eine mit einer Blockgröße von 128 MB gespeicherte 1-MB-Datei belegt ...
Können Bilder in Elasticsearch gespeichert werden?
Ist es möglich, Bilder in Elasticsearch-Clustern zu speichern? Wenn ja, gibt es eine Ressource zum Arbeitsablauf? Ich habe den folgenden Link ...
hadoop hdfs Formatierung erhält Fehler fehlgeschlagen für Block Pool
Nach dem Formatieren meiner hdfs erhalte ich die folgenden Fehlermeldungen: 2015-05-28 21:41:57,544 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/dfs/datanode: namenode ...
Split Size vs Block Size in Hadoop
Was ist die Beziehung zwischen Split-Größe und Blockgröße in Hadoop? Wie ich in @ gelesen haDie [http://willddy.github.io/2012/08/25/Hadoop-Split-and-Block.html], die Teilungsgröße muss n-mal so groß sein wie der Block (n ist eine ganze Zahl ...
Put-Datei auf HDFS mit Leerzeichen im Namen
Ich habe eine Datei mit dem Namenfile name(1).zip (mit dem Leerzeichen und den Klammern) und ich möchte diese Datei auf dem HDFS ablegen. Aber jedes Mal, wenn ich versuche, es über @ zu setzhadoop fs -put ..., Ich bekomme eine Ausnahme. Ich ...
spark + hadoop Datenlokalität
Ich habe eine RDD mit Dateinamen, also eine RDD [String]. Ich bekomme das durch Parallelisieren einer Liste von Dateinamen (von Dateien in hdfs). Nun ordne ich diesen Rdd zu und mein Code öffnet einen Hadoop-Stream mit FileSystem.open (Pfad). ...
Process Spark Streaming rdd und Speichern in eine einzelne HDFS-Datei
Ich verwende Kafka Spark Streaming, um Streaming-Daten abzurufen. val lines = KafkaUtils.createDirectStream[Array[Byte], String, DefaultDecoder, StringDecoder](ssc, kafkaConf, Set(topic)).map(_._2)Ich benutze diesen DStream und verarbeite ...
Ist es möglich, einen MapReduce-Job am Zugriff auf entfernte Daten zu hindern?
Wir haben einen bestimmten Algorithmus, den wir in HDFS integrieren möchten. Der Algorithmus verlangt, dass wir lokal auf Daten zugreifen (die Arbeit würde ausschließlich im @ erledigt werdenMapper). Wir möchten jedoch die Vorteile von HDFS bei ...
Checksum Verifikation in Hadoop
Müssen wir die Prüfsumme überprüfen, nachdem wir Dateien von einem Linux-Server über ein Webhdfs nach Hadoop (HDFS) verschoben haben? Ich möchte sicherstellen, dass die Dateien auf dem HDFS nach dem Kopieren nicht beschädigt sind. Aber ist eine ...
Hadoop 2.0-Datenschreiboperationsbestätigung
Ich habe eine kleine Frage zu Hadoop-Daten-Schreibvorgängen Aus der Apache-Dokumentation Für den allgemeinen Fall, dass der Replikationsfaktor drei beträgt, besteht die HDFS-Platzierungsrichtlinie darin, eine Replik auf einem Knoten im lokalen ...