Suchergebnisse für Anfrage "yarn"
Ausführung des aktuellen Jobs in Spark
Ich habe Eingabedaten mit dem folgenden Format verwendet: 0 1 2 3 4 5 … 14 Input Location: hdfs://localhost:9000/Input/datasource Ich habe den folgenden Codeausschnitt verwendet, um RDD als Textdatei mit mehreren Threads zu speichern: package ...
Anwendungsbericht für application_ (Status: ACCEPTED) endet nie für Spark Submit (mit Spark 1.2.0 auf YARN)
Ich verwende Kinesis plus Spark-Anwendunghttps: //spark.apache.org/docs/1.2.0/streaming-kinesis-integration.htm [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Ich laufe wie folgt Befehl auf ...
Hadoop unter Windows. YARN startet nicht mit java.lang.UnsatisfiedLinkError
Ich habe Hadoop unter Windows Hadoop-2.7.0 installiert / konfiguriert Ich konnte den Ausführungsbefehl "sbin \ start-dfs" erfolgreich starten. DataNode und NameNode gestartet. Ich könnte ein Verzeichnis erstellen, eine Datei in das Hadoop-System ...
Unterschied zwischen Application Manager und Application Master in YARN?
Ich habe verstanden, wie MRv1 funktioniert. Jetzt versuche ich, MRv2 zu verstehen. Was ist der Unterschied zwischen Application Manager und Application Master in YARN?
Warum meldet eine JVM mehr festgeschriebenen Speicher als die Größe des residenten Linux-Prozess-Sets?
Beim Ausführen einer Java-App (in YARN) mit aktiviertem Tracking des nativen Speichers -XX:NativeMemoryTracking=detail ...
Wie füge ich eine Konfigurationsdatei zum Klassenpfad aller Spark-Executoren in Spark 1.2.0 hinzu?
Ich verwende Typesafe Config,https: //github.com/typesafehub/confi [https://github.com/typesafehub/config], um einen Spark-Job, der im Garncluster-Modus ausgeführt wird, mit einer Konfigurationsdatei zu parametrisieren. Das Standardverhalten von ...
Spark Launcher wartet unendlich lange auf den Abschluss des Auftrags
Ich versuche, eine JAR mit Spark-Job aus Java-Code in den YARN-Cluster zu übertragen. Ich verwende SparkLauncher, um ein SparkPi-Beispiel einzureichen: Process spark = new ...
Wie gehe ich mit Aufgaben um, die zu lange laufen (im Vergleich zu anderen im Job)?
Wir verwenden einen Spark-Cluster alsyarn-client um mehrere Geschäfte zu kalkulieren, aber manchmal läuft eine Aufgabe zu lange: [/imgs/IWSbQ.png] Wir stellen keine Zeitüberschreitung ein, aber ich denke, die Standardzeitüberschreitung einer ...
"Schlechte Substitution" beim Senden eines Funkenauftrags an den Fadencluster
Ich mache einen Rauchtest gegen einen Garncluster mityarn-cluster als Master mit demSparkPi beispielprogramm. Hier ist die Befehlszeile: $SPARK_HOME/bin/spark-submit --master yarn-cluster --executor-memory 8G --executor-cores 240 --class ...
Wie richte ich Zeppelin so ein, dass es mit einem entfernten EMR-Garncluster zusammenarbeitet?
Ich habe einen Amazon EMR Hadoop v2.6-Cluster mit Spark 1.4.1 und Yarn Resource Manager. Ich möchte Zeppelin auf einem separaten Computer bereitstellen, damit der EMR-Cluster deaktiviert werden kann, wenn keine Jobs ausgeführt werden. Ich habe ...