Suchergebnisse für Anfrage "yarn"
Fehler beim Ausführen von Mapreduce (Garn) von Windows Eclipse
Ich führe ein WordCount-Programm von meiner Sonnenfinsternis aus. Ich habe es mit Hadoop1.x versucht, es läuft gut. Problem beim Laufen auf hadoop2.x Ich habe versucht, 1) fügte alle XML in meinem Klassenpfad. 2) habe auch conf.set () ...
Welche Beziehung besteht zwischen 'mapreduce.map.memory.mb' und 'mapred.map.child.java.opts' in Apache Hadoop YARN?
Ich würde gerne die Beziehung zwischen dermapreduce.map.memory.mb undmapred.map.child.java.opts Parameter. Istmapreduce.map.memory.mb > mapred.map.child.java.opts? Danke, Kewal.
Speicherbeschränkung für Oozie-Shell-Aktionen
Wir haben einen aufregenden Workflow mit einer Shell-Aktion, die mehr Speicher benötigt als eine Map-Aufgabe, die standardmäßig von Yarn vorgegeben wird. Wie können wir ihm mehr Gedächtnis geben? Wir haben versucht, der Aktion die folgende ...
Anwendungen, die nicht in der Garn-Benutzeroberfläche angezeigt werden, wenn Mapreduce Hadoop Job ausgeführt wird?
ich benutzeHadoop2.2. Ich sehe, dass meine Jobs mit Erfolg abgeschlossen sind. Ich kann das Dateisystem durchsuchen, um die Ausgabe zu finden. Wenn ich jedoch stöberehttp://NNode:8088/cluster/appsIch kann noch keine abgeschlossenen Bewerbungen ...
Apache Spark: Die Anzahl der Kerne im Vergleich zur Anzahl der Executoren
Ich versuche, die Beziehung zwischen der Anzahl der Kerne und der Anzahl der Executoren zu verstehen, wenn ich einen Spark-Job auf YARN ausführe. Die Testumgebung sieht wie folgt aus: Anzahl der Datenknoten: 3Datenknoten ...
Feuern Sie das Verständnis für das Garnkonzept an
Ich versuche zu verstehen, wie Funken auf YARN Cluster / Client ausgeführt wird. Ich habe die folgende Frage im Kopf. Ist es notwendig, dass an allen Knoten im Garncluster ein Funke installiert ist? Ich denke, es sollte, weil Worker-Knoten im ...
Spark Indefinite Waiting mit der Aufforderung, Kartenausgabeorte für die Zufallswiedergabe zu senden.
Meine Jobs hängen oft mit dieser Art von Nachricht: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Wäre toll, wenn jemand erklären könnte, was Spark macht, wenn er diese ...
Running Spark on YARN im Garncluster-Modus: Wohin geht die Konsolenausgabe?
Ich bin dieser Seite gefolgt und habe die SparkPi-Beispielanwendung auf YARN im Garncluster-Modus ausgeführt. http: //spark.apache.org/docs/latest/running-on-yarn.htm [http://spark.apache.org/docs/latest/running-on-yarn.html] Ich sehe die ...
Wie stelle ich die VCORES in hadoop mapreduce / yarn ein?
Die folgenden sind meine Konfiguration: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GB The Vcores in Hadoop Cluster angezeigt 8 GB, aber ich ...
Hat jeder Befehl einen aktiven namenode für den nameservice in hadoop?
Der Befehl hdfs haadmin -getServiceState machine-98Works nur, wenn Sie den Computernamen kennen. Gibt es einen Befehl wie: hdfs haadmin -getServiceState <nameservice>, die Ihnen die IP / den Hostnamen des @ mitteilen kaakti namenode?