Suchergebnisse für Anfrage "yarn"
Hat jeder Befehl einen aktiven namenode für den nameservice in hadoop?
Der Befehl hdfs haadmin -getServiceState machine-98Works nur, wenn Sie den Computernamen kennen. Gibt es einen Befehl wie: hdfs haadmin -getServiceState <nameservice>, die Ihnen die IP / den Hostnamen des @ mitteilen kaakti namenode?
Warum meldet Hadoop, dass die lokalen Verzeichnisse und Protokollverzeichnisse des fehlerhaften Knotens fehlerhaft sind?
Ich versuche, einen Hadoop 2.6.0-Cluster mit einem einzelnen Knoten auf meinem PC einzurichten. ei einem Besuchhttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Ich stelle fest, dass mein Knoten als "fehlerhafter Knoten" ...
Ausführung des aktuellen Jobs in Spark
Ich habe Eingabedaten mit dem folgenden Format verwendet: 0 1 2 3 4 5 … 14 Input Location: hdfs://localhost:9000/Input/datasource Ich habe den folgenden Codeausschnitt verwendet, um RDD als Textdatei mit mehreren Threads zu speichern: package ...
Wie gehe ich mit Aufgaben um, die zu lange laufen (im Vergleich zu anderen im Job)?
Wir verwenden einen Spark-Cluster alsyarn-client um mehrere Geschäfte zu kalkulieren, aber manchmal läuft eine Aufgabe zu lange: [/imgs/IWSbQ.png] Wir stellen keine Zeitüberschreitung ein, aber ich denke, die Standardzeitüberschreitung einer ...
Wie deaktiviere ich die INFO-Protokollierung in Spark?
Ich habe Spark mithilfe des AWS EC2-Handbuchs installiert und kann das Programm mit dem in Ordnung bringenbin/pyspark Skript, um zur Funken-Eingabeaufforderung zu gelangen, und kann auch die Schnellstart-Quide erfolgreich ausführen. Allerdings ...
YARN: Was ist der Unterschied zwischen der Anzahl der Executoren und den Executor-Kernen in Spark?
Ich lerne Funken auf AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-executors) und den Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand hier Bescheid geben? Auch wenn ich versuche, den ...
Ressourcen / Dokumentation zur Funktionsweise des Failovers für den Spark-Treiber (und dessen YARN-Container) im Garn-Cluster-Modus
Ich versuche zu verstehen, ob der Spark-Treiber eine einzelne Fehlerquelle darstellt, wenn er im Cluster-Modus für Yarn bereitgestellt wird. Daher möchte ich die Innereien des Failover-Prozesses in Bezug auf den YARN-Container des Spark-Treibers ...
Spark on YARN zu wenig vcores verwendet
Ich verwende Spark in einem YARN-Cluster (HDP 2.4) mit den folgenden Einstellungen: 1 Masternode 64 GB RAM (50 GB nutzbar) 24 Kerne (19 Kerne verwendbar) 5 Slavenodes 64 GB RAM (jeweils 50 GB nutzbar) 24 Kerne (19 Kerne verwendbar) jeYARN ...
Auf dem Master kann kein Knotenmanager gestartet werden
Ich richte einen Hadoop YARN-Cluster ein und verwende eine Maschine sowohl als Master als auch als Slave. Wenn ich YARN mit dem folgenden Befehl starte, startet es den Knotenmanager auf Slaves, aber nicht auf dem ...
Warum gibt es eine mapreduce.jobtracker.address-Konfiguration auf YARN?
YARN ist die zweite Generation von Hadoop, die den Jobtracker-Daemon nicht mehr verwendet und durch den Ressourcenmanager ersetzt. Aber warum gibt es auf mapred-site.xml hadoop 2 eine mapreduce.jobtracker.address-Eigenschaft?