Suchergebnisse für Anfrage "amazon-emr"
Anwendungsbericht für application_ (Status: ACCEPTED) endet nie für Spark Submit (mit Spark 1.2.0 auf YARN)
Ich verwende Kinesis plus Spark-Anwendunghttps: //spark.apache.org/docs/1.2.0/streaming-kinesis-integration.htm [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Ich laufe wie folgt Befehl auf ...
avro Fehler in AWS EMR
Ich benutze Spark-Redshift https: //github.com/databricks/spark-redshif [https://github.com/databricks/spark-redshift]) die avro für die Übertragung verwendet. Reading von Redshift ist OK, während ich schreibe bekomme ich Caused by: ...
Warum weist Yarn on EMR nicht allen Knoten die Ausführung von Spark-Jobs zu?
Ich arbeite mit Apache Spark in Amazon Elastic Map Reduce (EMR). Derzeit arbeite ich mit emr-4.1.0, das Amazon Hadoop 2.6.0 und Spark 1.5.0 enthält. Wenn ich den Job starte, hat YARN alle Worker-Knoten korrekt dem Spark-Job zugewiesen (mit ...
Boosting spark.yarn.executor.memoryOverhead
Ich versuche, einen (py) Spark-Job für EMR auszuführen, der eine große Datenmenge verarbeitet. Derzeit schlägt mein Job mit der folgenden Fehlermeldung fehl: Reason: Container killed by YARN for exceeding memory limits. 5.5 GB of 5.5 ...
Spark SQL schlägt fehl, weil der konstante Pool über das JVM-Limit von 0xFFFF hinaus gewachsen ist.
Ich führe diesen Code auf EMR 4.6.0 + Spark 1.6.1 aus: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is not null OR `second_field` is not ...
Ausführen von EMR Spark mit mehreren S3-Konten
Ich habe einen EMR-Spark-Job, der Daten von S3 für ein Konto lesen und in ein anderes schreiben muss. Ich habe meinen Job in zwei Schritte aufgeteilt. Daten vom S3 lesen (keine Anmeldeinformationen erforderlich, da sich mein EMR-Cluster im ...
Seite 2 von 2