Suchergebnisse für Anfrage "yarn"
Spark Indefinite Waiting mit der Aufforderung, Kartenausgabeorte für die Zufallswiedergabe zu senden.
Meine Jobs hängen oft mit dieser Art von Nachricht: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Wäre toll, wenn jemand erklären könnte, was Spark macht, wenn er diese ...
Wie richte ich Zeppelin so ein, dass es mit einem entfernten EMR-Garncluster zusammenarbeitet?
Ich habe einen Amazon EMR Hadoop v2.6-Cluster mit Spark 1.4.1 und Yarn Resource Manager. Ich möchte Zeppelin auf einem separaten Computer bereitstellen, damit der EMR-Cluster deaktiviert werden kann, wenn keine Jobs ausgeführt werden. Ich habe ...
Spark Auftragsfehler: YarnAllocator: Beendigungsstatus: -100. Diagnose: Container auf einem * verlorenen * Knoten @ freigegeb
Ich führe einen Job in AWS-EMR 4.1, Spark 1.5 mit der folgenden Konfiguration aus: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...
Fehler beim Ausführen von Mapreduce (Garn) von Windows Eclipse
Ich führe ein WordCount-Programm von meiner Sonnenfinsternis aus. Ich habe es mit Hadoop1.x versucht, es läuft gut. Problem beim Laufen auf hadoop2.x Ich habe versucht, 1) fügte alle XML in meinem Klassenpfad. 2) habe auch conf.set () ...
Festlegen der genauen maximalen Anzahl gleichzeitig ausgeführter Aufgaben pro Knoten in Hadoop 2.4.0 in Elastic MapReduce
Gemäß http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ [http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/] lautet die Formel zum Ermitteln der Anzahl ...
Running Spark on YARN im Garncluster-Modus: Wohin geht die Konsolenausgabe?
Ich bin dieser Seite gefolgt und habe die SparkPi-Beispielanwendung auf YARN im Garncluster-Modus ausgeführt. http: //spark.apache.org/docs/latest/running-on-yarn.htm [http://spark.apache.org/docs/latest/running-on-yarn.html] Ich sehe die ...
So erhöhen Sie die Anzahl der Container im Knoten-Manager in YARN
Ein Knoten in meinem YARN-Cluster verfügt über 64 GB Speicher und 24 Kerne. Ich habe die folgenden Eigenschaften in der Datei yarn-site.xml festgelegt:
Hadoop 2 IOException nur beim Versuch, vermeintliche Cache-Dateien zu öffnen
Ich habe kürzlich auf Hadoop 2.2 aktualisiert (mit diesem TutorialHier).Meine Hauptberufsklasse sieht so aus und löst eine IOException aus:
Welche Beziehung besteht zwischen 'mapreduce.map.memory.mb' und 'mapred.map.child.java.opts' in Apache Hadoop YARN?
Ich würde gerne die Beziehung zwischen dermapreduce.map.memory.mb undmapred.map.child.java.opts Parameter. Istmapreduce.map.memory.mb > mapred.map.child.java.opts? Danke, Kewal.
Speicherbeschränkung für Oozie-Shell-Aktionen
Wir haben einen aufregenden Workflow mit einer Shell-Aktion, die mehr Speicher benötigt als eine Map-Aufgabe, die standardmäßig von Yarn vorgegeben wird. Wie können wir ihm mehr Gedächtnis geben? Wir haben versucht, der Aktion die folgende ...