Suchergebnisse für Anfrage "emr"

2 die antwort

YARN: Was ist der Unterschied zwischen der Anzahl der Executoren und den Executor-Kernen in Spark?

Ich lerne Funken auf AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-executors) und den Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand hier Bescheid geben? Auch wenn ich versuche, den ...

12 die antwort

Detected Guava-Problem Nr. 1635, das angibt, dass eine Version von Guava unter 16.01 verwendet wird

Ich führe einen Funkenjob für emr aus und verwende den Datenstrom-Konnektor, um eine Verbindung zum Cassandra-Cluster herzustellen. Ich stehe vor Problemen mit dem Guavenglas. Bitte finden Sie die Details unten. Ich verwende unten ...

4 die antwort

Boosting spark.yarn.executor.memoryOverhead

Ich versuche, einen (py) Spark-Job für EMR auszuführen, der eine große Datenmenge verarbeitet. Derzeit schlägt mein Job mit der folgenden Fehlermeldung fehl: Reason: Container killed by YARN for exceeding memory limits. 5.5 GB of 5.5 ...

TOP-Veröffentlichungen