Spark SQL schlägt fehl, weil der konstante Pool über das JVM-Limit von 0xFFFF hinaus gewachsen ist.

Ich führe diesen Code auf EMR 4.6.0 + Spark 1.6.1 aus: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is not null OR `second_field` is not ...

Können wir einer vorhandenen Amazon Elastic Mapreduce-Instanz weitere Amazon Elastic Mapreduce-Instanzen hinzufügen?

AWS EMR führt ein "Bootstrap" -Skript auf allen bereits laufenden Maschinen im Cluster durch.

Ich habe einen EMR-Cluster, der rund um die Uhr läuft. Ich kann es nicht ausschalten und das neue starten. Was ich tun möchte, ist so etwas wie eine Bootstrap-Aktion auf dem bereits laufenden Cluster auszuführen, vorzugsweise mit Python und Boto ...

avro Fehler in AWS EMR

Ich benutze Spark-Redshift https: //github.com/databricks/spark-redshif [https://github.com/databricks/spark-redshift]) die avro für die Übertragung verwendet. Reading von Redshift ist OK, während ich schreibe bekomme ich Caused by: ...

HADOOP Kopieren von HDFS nach S3

Ich habe den Mahout - Vektorisierungsjob bei Amazon EMR erfolgreich abgeschlossen (mitMahout auf Elastic MapReduce als Referenz). Jetzt möchte ich die Ergebn...

Ausführen von EMR Spark mit mehreren S3-Konten

Ich habe einen EMR-Spark-Job, der Daten von S3 für ein Konto lesen und in ein anderes schreiben muss. Ich habe meinen Job in zwei Schritte aufgeteilt. Daten vom S3 lesen (keine Anmeldeinformationen erforderlich, da sich mein EMR-Cluster im ...

Boosting spark.yarn.executor.memoryOverhead

Ich versuche, einen (py) Spark-Job für EMR auszuführen, der eine große Datenmenge verarbeitet. Derzeit schlägt mein Job mit der folgenden Fehlermeldung fehl: Reason: Container killed by YARN for exceeding memory limits. 5.5 GB of 5.5 ...

Warum weist Yarn on EMR nicht allen Knoten die Ausführung von Spark-Jobs zu?

Ich arbeite mit Apache Spark in Amazon Elastic Map Reduce (EMR). Derzeit arbeite ich mit emr-4.1.0, das Amazon Hadoop 2.6.0 und Spark 1.5.0 enthält. Wenn ich den Job starte, hat YARN alle Worker-Knoten korrekt dem Spark-Job zugewiesen (mit ...

Wie liest MapReduce aus mehreren Eingabedateien?

So starten und konfigurieren Sie einen EMR-Cluster mit boto

Ich versuche, mit boto einen Cluster zu starten und einen Job auszuführen. Ich finde viele Beispiele für die Erstellung von job_flows. Aber ich kann nicht für das Leben von mir ein Beispiel finden, das zeigt: So definieren Sie den zu ...