Suchergebnisse für Anfrage "yarn"
Wie werden die YARN-Protokolldateien aufbewahrt?
Plötzlich funktioniert mein YARN-Cluster nicht mehr. Alles, was ich einreiche, schlägt mit "Beendigungscode 1" fehl. Ich möchte dieses Problem aufspüren, aber sobald eine Anwendung fehlgeschlagen ist, löscht YARN die Protokolldateien. Welche ...
Wie werden Container in MapReduce2 basierend auf VCores und Speicher erstellt?
Ich habe einen winzigen Cluster bestehend aus 1 Master (Name, Sekundärname, Ressourcemanager) und 2 Slaves (Datanode, Nodemanager). Ich habe in der yarn-site.xml des Masters eingestellt: yarn.scheduler.minimum-allocation-mb: ...
YARN Shell-Befehl zum Abrufen der Anzahl der Container und VCores, die zum Ausführen von Anwendungen verwendet werden.
hadoop job -list scheint nur Mapreduce-Jobs anzuzeigen, aber in der Benutzeroberfläche meines Ressourcenmanagers werden für alle Jobs, die auf YARN ausgeführt werden (einschließlich Spark und Tez), Dinge wie "Allocated CPU VCores" und "Allocated ...
Spark Executor auf Faden-Client nimmt keine Konfiguration der Executor-Kernanzahl vor.
Unabhängig von der Anzahl der Executor-Kerne verwendet der Garnbehälter für den Executor nicht mehr als 1 Kern.
Warum weist Yarn on EMR nicht allen Knoten die Ausführung von Spark-Jobs zu?
Ich arbeite mit Apache Spark in Amazon Elastic Map Reduce (EMR). Derzeit arbeite ich mit emr-4.1.0, das Amazon Hadoop 2.6.0 und Spark 1.5.0 enthält. Wenn ich den Job starte, hat YARN alle Worker-Knoten korrekt dem Spark-Job zugewiesen (mit ...
/ bin / bash: / bin / java: Keine solche Datei oder Verzeichnis
Ich habe versucht, ein einfaches MapReduce-Programm mit WordCount unter Verwendung von Java 1.7 SDK und Hadoop2.7.1 unter Mac OS X EL Captain 10.11 auszuführen. In meinem Containerprotokoll "stderr" / bin / bash wird folgende Fehlermeldung ...
Spark Auftragsfehler: YarnAllocator: Beendigungsstatus: -100. Diagnose: Container auf einem * verlorenen * Knoten @ freigegeb
Ich führe einen Job in AWS-EMR 4.1, Spark 1.5 mit der folgenden Konfiguration aus: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...
Stammtabellen im YARN-Cluster-Modus nicht gefunden
Ich habe eine Spark-Anwendung (Version 1.4.1) auf HDP 2.3. Es funktioniert einwandfrei, wenn es im YARN-Client-Modus ausgeführt wird. Wenn es jedoch im YARN-Cluster-Modus ausgeführt wird, kann keine meiner Hive-Tabellen von der Anwendung gefunden ...
konnte anstelle von minReplication (= 1) nur auf 0 Knoten repliziert werden. Es werden 4 Datenknoten ausgeführt, und in dieser Operation werden keine Knoten ausgeschlossen.
Ich weiß nicht, wie ich diesen Fehler beheben kann: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, ...
Submitting Spark App als Garnjob von Eclipse und Spark Context
Ich kann bereits einreichenlocal Spark-Jobs (in Scala geschrieben) aus meiner Eclipse-IDE. Ich möchte jedoch meinen Spark-Kontext (in meiner Anwendung) so ändern, dass der Auftrag mit Yarn als Ressourcenmanager an meinen Remote-Cluster gesendet ...