Suchergebnisse für Anfrage "emr"
Boosting spark.yarn.executor.memoryOverhead
Ich versuche, einen (py) Spark-Job für EMR auszuführen, der eine große Datenmenge verarbeitet. Derzeit schlägt mein Job mit der folgenden Fehlermeldung fehl: Reason: Container killed by YARN for exceeding memory limits. 5.5 GB of 5.5 ...
Detected Guava-Problem Nr. 1635, das angibt, dass eine Version von Guava unter 16.01 verwendet wird
Ich führe einen Funkenjob für emr aus und verwende den Datenstrom-Konnektor, um eine Verbindung zum Cassandra-Cluster herzustellen. Ich stehe vor Problemen mit dem Guavenglas. Bitte finden Sie die Details unten. Ich verwende unten ...
YARN: Was ist der Unterschied zwischen der Anzahl der Executoren und den Executor-Kernen in Spark?
Ich lerne Funken auf AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-executors) und den Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand hier Bescheid geben? Auch wenn ich versuche, den ...
Spark Auftragsfehler: YarnAllocator: Beendigungsstatus: -100. Diagnose: Container auf einem * verlorenen * Knoten @ freigegeb
Ich führe einen Job in AWS-EMR 4.1, Spark 1.5 mit der folgenden Konfiguration aus: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...
Warum weist Yarn on EMR nicht allen Knoten die Ausführung von Spark-Jobs zu?
Ich arbeite mit Apache Spark in Amazon Elastic Map Reduce (EMR). Derzeit arbeite ich mit emr-4.1.0, das Amazon Hadoop 2.6.0 und Spark 1.5.0 enthält. Wenn ich den Job starte, hat YARN alle Worker-Knoten korrekt dem Spark-Job zugewiesen (mit ...
ei Amazon EMR 4.0.0 ist die Einstellung /etc/spark/conf/spark-env.conf unwirksa
Ich starte meinen funkenbasierten Hiveserver2 auf Amazon EMR, der eine zusätzliche Klassenpfadabhängigkeit aufweist. Aufgrund dieses Fehlers in ...
Wie richte ich Zeppelin so ein, dass es mit einem entfernten EMR-Garncluster zusammenarbeitet?
Ich habe einen Amazon EMR Hadoop v2.6-Cluster mit Spark 1.4.1 und Yarn Resource Manager. Ich möchte Zeppelin auf einem separaten Computer bereitstellen, damit der EMR-Cluster deaktiviert werden kann, wenn keine Jobs ausgeführt werden. Ich habe ...
Spark - Welcher Instanztyp wird für AWS EMR-Cluster bevorzugt? [geschlossen
Ich führe einige Algorithmen für maschinelles Lernen im EMR Spark-Cluster aus. Ich bin gespannt, welche Art von Instanz ich verwenden soll, um den optimalen Preis- / Leistungsgewinn zu erziele Für das gleiche Preisniveau kann ich wählen ...
AWS EMR führt ein "Bootstrap" -Skript auf allen bereits laufenden Maschinen im Cluster durch.
Ich habe einen EMR-Cluster, der rund um die Uhr läuft. Ich kann es nicht ausschalten und das neue starten. Was ich tun möchte, ist so etwas wie eine Bootstrap-Aktion auf dem bereits laufenden Cluster auszuführen, vorzugsweise mit Python und Boto ...
Wie benutze ich -libjars auf aws emr?
Es gibt ähnliche Fragen zum Stapelüberlauf, aber keine von ihnen beantwortet die Frage. Das Problem tritt auf, wenn Sie den folgenden Link ...
Seite 1 von 2