HADOOP Kopieren von HDFS nach S3

Ich habe den Mahout - Vektorisierungsjob bei Amazon EMR erfolgreich abgeschlossen (mitMahout auf Elastic MapReduce als Referenz). Jetzt möchte ich die Ergebn...

Zu viele offene Dateien in EMR

Wie liest MapReduce aus mehreren Eingabedateien?

Wie benutze ich -libjars auf aws emr?

Es gibt ähnliche Fragen zum Stapelüberlauf, aber keine von ihnen beantwortet die Frage. Das Problem tritt auf, wenn Sie den folgenden Link ...

AWS EMR führt ein "Bootstrap" -Skript auf allen bereits laufenden Maschinen im Cluster durch.

Ich habe einen EMR-Cluster, der rund um die Uhr läuft. Ich kann es nicht ausschalten und das neue starten. Was ich tun möchte, ist so etwas wie eine Bootstrap-Aktion auf dem bereits laufenden Cluster auszuführen, vorzugsweise mit Python und Boto ...

Spark - Welcher Instanztyp wird für AWS EMR-Cluster bevorzugt? [geschlossen

Ich führe einige Algorithmen für maschinelles Lernen im EMR Spark-Cluster aus. Ich bin gespannt, welche Art von Instanz ich verwenden soll, um den optimalen Preis- / Leistungsgewinn zu erziele Für das gleiche Preisniveau kann ich wählen ...

Wie richte ich Zeppelin so ein, dass es mit einem entfernten EMR-Garncluster zusammenarbeitet?

Ich habe einen Amazon EMR Hadoop v2.6-Cluster mit Spark 1.4.1 und Yarn Resource Manager. Ich möchte Zeppelin auf einem separaten Computer bereitstellen, damit der EMR-Cluster deaktiviert werden kann, wenn keine Jobs ausgeführt werden. Ich habe ...

ei Amazon EMR 4.0.0 ist die Einstellung /etc/spark/conf/spark-env.conf unwirksa

Ich starte meinen funkenbasierten Hiveserver2 auf Amazon EMR, der eine zusätzliche Klassenpfadabhängigkeit aufweist. Aufgrund dieses Fehlers in ...

Warum weist Yarn on EMR nicht allen Knoten die Ausführung von Spark-Jobs zu?

Ich arbeite mit Apache Spark in Amazon Elastic Map Reduce (EMR). Derzeit arbeite ich mit emr-4.1.0, das Amazon Hadoop 2.6.0 und Spark 1.5.0 enthält. Wenn ich den Job starte, hat YARN alle Worker-Knoten korrekt dem Spark-Job zugewiesen (mit ...

Spark Auftragsfehler: YarnAllocator: Beendigungsstatus: -100. Diagnose: Container auf einem * verlorenen * Knoten @ freigegeb

Ich führe einen Job in AWS-EMR 4.1, Spark 1.5 mit der folgenden Konfiguration aus: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 --conf ...