Suchergebnisse für Anfrage "hadoop"
Wie schreibe ich mit Scala auf HDFS?
Ich lerne Scala und muss eine benutzerdefinierte Datei in HDFS schreiben. Ich habe mein eigenes HDFS auf einem Cloudera-Image mit VMware Fusion auf meinem Laptop ausgeführt. Dies ist mein aktueller Code: package org.glassfish.samples import ...
Job Queue für Hive Action in oozie
Ich habe einen netten Workflow. Ich übermittle alle Hive-Aktionen mit <name>mapred.job.queue.name</name> <value>${queueName}</value>Aber für einige Hive-Aktionen befindet sich der gestartete Job nicht in der angegebenen Warteschlange. Es wird in ...
Hadoop Vergleich zu RDBMS
Ich verstehe den eigentlichen Grund für die Hadoop-Skalierung nicht besser als RDBMS. Kann jemand bitte auf einer granularen Ebene erklären? Hat dies etwas mit den zugrunde liegenden Datenstrukturen und Algorithmen zu tu
Unterschied zwischen typischer Hadoop-Architektur und MapR-Architektur
Ich weiß dasHadoop basiert auf der Master / Slave-Architektur HDFS arbeitet mitNameNodes undDataNodes undMapReduce arbeitet mitjobtrackers undTasktrackers Aber ich kann nicht alle diese Dienste auf @ findMapR, Ich finde heraus, dass es eine ...
Hadoop 1.2.1 - Multinode-Cluster - Reduzierungsphase hängt für Wordcount-Programm?
Meine Frage klingt hier vielleicht überflüssig, aber die Lösung für die früheren Fragen war alle ad-hoc. wenige habe ich aber noch nicht ausprobiert. Acutally arbeite ich an hadoop-1.2.1 (auf Ubuntu 14), Anfangs hatte ...
Was passiert, wenn ein RDD in Spark nicht in den Speicher passt? [Duplikat
Diese Frage hat hier bereits eine Antwort: Was macht der Funke, wenn ich nicht genug Speicher habe? [/questions/20301661/what-will-spark-do-if-i-dont-have-enough-memory] 3 answers Soweit ich weiß, versucht Spark, alle Berechnungen im ...
Wie werden Zeilen in einer Datei mit dem Befehl hdfs gezählt?
Ich habe eine Datei auf HDFS, die ich wissen möchte, wie viele Zeilen sind. (Testdatei) nter Linux kann ich: wc -l <filename>Kann ich etwas Ähnliches mit dem Befehl "hadoop fs" machen? Ich kann Dateiinhalte drucken mit: hadoop fs -text ...
Würde Spark das RDD selbst deaktivieren, wenn er merkt, dass es nicht mehr verwendet wird?
Wir können eine RDD im Speicher und / oder auf der Festplatte beibehalten, wenn wir sie mehrmals verwenden möchten. Müssen wir sie jedoch später selbst deaktivieren oder führt Spark eine Art Garbage Collection durch und deaktiviert die RDD, wenn ...
Wie kann man alle csv-Dateien an einem HDFS-Speicherort in der Spark Scala-Shell auflisten?
Der Zweck dieses Befehls besteht darin, eine Kopie jeder Datendatei an einem zweiten Speicherort in HDFS zu bearbeiten und zu speichern. Ich werde @ verwend RddName.coalesce(1).saveAsTextFile(pathName), um das Ergebnis in HDFS ...
Warum schlägt die Spark-Shell mit der NullPointerException fehl?
Ich versuche, @ auszuführspark-shell unter Windows 10, aber ich erhalte diesen Fehler jedes Mal, wenn ich ihn ausführe. Ich habe sowohl die neueste Version als auch die Version spark-1.5.0-bin-hadoop2.4 verwendet. 15/09/22 18:46:24 WARN ...