Ausführen von EMR Spark mit mehreren S3-Konten

Ich habe einen EMR-Spark-Job, der Daten von S3 für ein Konto lesen und in ein anderes schreiben muss. Ich habe meinen Job in zwei Schritte aufgeteilt. Daten vom S3 lesen (keine Anmeldeinformationen erforderlich, da sich mein EMR-Cluster im ...

Kennt ein EMR-Masterknoten seine Cluster-ID?

Ich möchte in der Lage sein, EMR-Cluster zu erstellen und für diese Cluster Nachrichten an eine zentrale Warteschlange zurückzusenden. Damit dies funktionier...

Spark SQL schlägt fehl, weil der konstante Pool über das JVM-Limit von 0xFFFF hinaus gewachsen ist.

Ich führe diesen Code auf EMR 4.6.0 + Spark 1.6.1 aus: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is not null OR `second_field` is not ...

Umgang mit in Anführungszeichen eingeschlossenen Feldern (CSV) beim Importieren von Daten aus S3 in DynamoDB mithilfe von EMR / Hive

avro Fehler in AWS EMR

Ich benutze Spark-Redshift https: //github.com/databricks/spark-redshif [https://github.com/databricks/spark-redshift]) die avro für die Übertragung verwendet. Reading von Redshift ist OK, während ich schreibe bekomme ich Caused by: ...

Anwendungsbericht für application_ (Status: ACCEPTED) endet nie für Spark Submit (mit Spark 1.2.0 auf YARN)

Ich verwende Kinesis plus Spark-Anwendunghttps: //spark.apache.org/docs/1.2.0/streaming-kinesis-integration.htm [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Ich laufe wie folgt Befehl auf ...