Suchergebnisse für Anfrage "yarn"
FetchFailedException oder MetadataFetchFailedException beim Verarbeiten einer großen Datenmenge
Wenn ich den Parsing-Code mit einem Datensatz von 1 GB ausführe, wird er ohne Fehler abgeschlossen. Wenn ich jedoch versuche, jeweils 25 GB Daten zu speichern, werden die folgenden Fehler angezeigt. Ich versuche zu verstehen, wie ich unter ...
Spark Streaming: Wie kann ich meinem DStream weitere Partitionen hinzufügen?
Ich habe eine Spark-Streaming-App, die so aussieht: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ createConnection() ...
Der Spark.Yarn.Driver.MemoryOverhead oder Spark.Yarn.Executor.MemoryOverhead wird verwendet, um welche Art von Daten zu speichern?
Ich habe mich gefragt, dass: spark benutze den spark.yarn.driver.memoryOverhead oder spark.yarn.executor.memoryOverhead, um welche Art von Daten zu speichern?Und in welchem Fall sollte ich den Wert von spark.yarn.driver.memoryOverhead ...
YARN: Was ist der Unterschied zwischen der Anzahl der Executoren und den Executor-Kernen in Spark?
Ich lerne Funken auf AWS EMR. Dabei versuche ich den Unterschied zwischen der Anzahl der Executoren (- num-executors) und den Executor-Cores (--executor-cores) zu verstehen. Kann mir bitte jemand hier Bescheid geben? Auch wenn ich versuche, den ...
Spark on YARN zu wenig vcores verwendet
Ich verwende Spark in einem YARN-Cluster (HDP 2.4) mit den folgenden Einstellungen: 1 Masternode 64 GB RAM (50 GB nutzbar) 24 Kerne (19 Kerne verwendbar) 5 Slavenodes 64 GB RAM (jeweils 50 GB nutzbar) 24 Kerne (19 Kerne verwendbar) jeYARN ...
Wie kann die Anzahl der Wiederholungsversuche bei einem Fehler im Spark-Job begrenzt werden?
Wir führen einen Spark-Job über @ aspark-submit, und ich kann sehen, dass der Job im Falle eines Fehlers erneut übergeben wird. Wie kann ich verhindern, dass bei einem Versagen des Garnbehälters der zweite Versuch ausgeführt wird, oder was auch ...
Running Garn mit Funken funktioniert nicht mit Java 8
Ich habe einen Cluster mit 1 Master und 6 Slaves, der die vorgefertigte Version von Hadoop 2.6.0 und Spark 1.6.2 verwendet. Ich lief Hadoop MR und Spark-Jobs ohne Probleme mit OpenJDK 7 auf allen Knoten installiert. Als ich jedoch openjdk 7 auf ...
Wie kann die dynamische Selbstzuweisung von Ressourcen im Hadoop-Cluster unter "Garn" begrenzt werden?
In unserem Hadoop-Cluster, der unter Yarn ausgeführt wird, haben wir das Problem, dass einige "klügere" Leute in der Lage sind, erheblich größere Ressourcenmengen zu verbrauchen, indem sie Spark-Jobs in pySpark Jupyter-Notizbüchern konfigurieren ...
Wie wird Spark unter YARN für die Python-Speichernutzung ausgeführt?
Nachdem ich die Dokumentation gelesen habe, verstehe ich nicht, wie Spark auf YARN den Python-Speicherverbrauch berücksichtigt. Zählt es fürspark.executor.memory, spark.executor.memoryOverhead oder wo Insbesondere habe ich eine ...