Suchergebnisse für Anfrage "hdfs"
Welche Bedeutung haben Namespace und Metadaten, die in hdfs (namenode) verwendet wurden?
Als Anfänger von Hadoop bin ich mit diesen Wörtern Namespace und Metadaten verwechselt. Gibt es eine Beziehung zwischen diesen beiden?
Schreiben Sie mit dem Schlüssel Spark - ein Spark-Job auf mehrere Ausgänge
Wie können Sie mit Spark in einem einzigen Job in mehrere Ausgaben schreiben, die vom Schlüssel abhängig sind? Verbunden:Schreiben Sie in mehrere Ausgaben mit der Taste Scalding Hadoop, ...
Befehl zum Speichern der Datei in HDFS
Einführung Ein Hadoop NameNode und drei DataNodes wurden installiert und werden ausgeführt. Der nächste Schritt ist die Bereitstellung einer Datei für HDFS. Die folgenden Befehle wurden ausgeführt: hadoop fs -copyFromLocal ...
Schreiben und Lesen von Raw-Byte-Arrays in Spark mithilfe der Sequenzdatei SequenceFile
Wie schreibst duRDD[Array[Byte]] zu einer Datei mit Apache Spark und lesen Sie es wieder zurück?
Feuern Sie das Verständnis für das Garnkonzept an
Ich versuche zu verstehen, wie Funken auf YARN Cluster / Client ausgeführt wird. Ich habe die folgende Frage im Kopf. Ist es notwendig, dass an allen Knoten im Garncluster ein Funke installiert ist? Ich denke, es sollte, weil Worker-Knoten im ...
So geben Sie eine HDFS-Datei in R mapreduce ein, um sie zu verarbeiten und das Ergebnis in eine HDFS-Datei zu übertragen
Ich habe eine Frage ähnlich dem folgenden Link im Stackoverflow R + Hadoop: Wie lese ich eine CSV-Datei aus HDFS und führe mapreduce ...
Alle Dateien von HDFS rekursiv in spark java api lesen
Ich verwende spark, um Daten aller Dateien von HDFS in einer einzelnen RDD aus einem Verzeichnis und seinen Unterverzeichnissen zu lesen. Ich konnte keine effiziente Methode finden, um das zu tun. Also habe ich versucht, einen benutzerdefinierten ...
Es werden 0 Datenknoten ausgeführt, und in dieser Operation werden keine Knoten ausgeschlossen.
Ich habe einen Hadoop-Cluster mit mehreren Knoten eingerichtet. Der NameNode und der Secondary-NameNode werden auf demselben Computer ausgeführt, und der Cluster verfügt nur über einen Datenknoten. Alle Knoten sind auf Amazon ...
Auf eine Datei zugreifen, die geschrieben wird
You use the hadoop fs –put command to write a 300 MB file using and HDFS block size of 64 MB. Just after this command has finished writing 200 MB of this file, what would another user see when trying to access this file? a.) They would see Hadoop ...
JSON-Array in Pig laden
Ich habe eine JSON-Datei mit dem folgenden Format [ { "id": 2, "createdBy": 0, "status": 0, "utcTime": "Oct 14, 2014 4:49:47 PM", "placeName": "21/F, Cunningham Main Rd, Sampangi Rama NagarBengaluruKarnatakaIndia", "longitude": 77.5983817, ...