Suchergebnisse für Anfrage "yarn"
Hadoop 2.6.0: Grundfehler beim Starten von MRAppMaster nach der Installation von
Ich habe gerade angefangen, mit Hadoop 2 zu arbeiten. Nach der Installation mit grundlegenden Konfigurationen habe ich immer keine Beispiele ausgeführt. Hat jemand dieses Problem gesehen und bitte helfen Sie mir? Und der Fehler ist so etwas ...
Ressourcen / Dokumentation zur Funktionsweise des Failovers für den Spark-Treiber (und dessen YARN-Container) im Garn-Cluster-Modus
Ich versuche zu verstehen, ob der Spark-Treiber eine einzelne Fehlerquelle darstellt, wenn er im Cluster-Modus für Yarn bereitgestellt wird. Daher möchte ich die Innereien des Failover-Prozesses in Bezug auf den YARN-Container des Spark-Treibers ...
Wie kann ich von einer lokalen Hadoop 2.6-Installation auf S3 / S3n zugreifen?
Ich versuche, einen Amazon EMR-Cluster auf meinem lokalen Computer zu reproduzieren. Zu diesem Zweck habe ich das @ installie neueste stabile Version von Hadoop ab sofort - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Jetzt ...
Wie melde ich mich mit log4j im lokalen Dateisystem einer Spark-Anwendung an, die auf YARN ausgeführt wird?
Ich erstelle eine Apache Spark Streaming-Anwendung und kann sie nicht in eine Datei auf dem lokalen Dateisystem protokollieren.wenn es auf YARN läuft. Wie kann das erreicht werden? Ich habe @ eingestellog4.properties Datei, so dass es ...
Was ist Speicher auf Garn reserviert
Ich habe es geschafft, eine Funkenanwendung auf Yarn zu starten. Allerdings ist die Verwendung von Emory etwas seltsam, wie Sie unten sehen können: http: //imgur.com/1k6VvS [http://imgur.com/1k6VvSI] Was bedeutet reservierter Speicher? Wie kann ...
Warum meldet Hadoop, dass die lokalen Verzeichnisse und Protokollverzeichnisse des fehlerhaften Knotens fehlerhaft sind?
Ich versuche, einen Hadoop 2.6.0-Cluster mit einem einzelnen Knoten auf meinem PC einzurichten. ei einem Besuchhttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Ich stelle fest, dass mein Knoten als "fehlerhafter Knoten" ...
Spark Kill Running Application
Ich habe eine laufende Spark-Anwendung, in der alle Kerne belegt sind, auf denen meinen anderen Anwendungen keine Ressourcen zugewiesen werden. Ich habe schnell nachgeforscht und Leute haben vorgeschlagen, YARN kill oder / bin / spark-class zu ...
Warum gibt es eine mapreduce.jobtracker.address-Konfiguration auf YARN?
YARN ist die zweite Generation von Hadoop, die den Jobtracker-Daemon nicht mehr verwendet und durch den Ressourcenmanager ersetzt. Aber warum gibt es auf mapred-site.xml hadoop 2 eine mapreduce.jobtracker.address-Eigenschaft?
Apache Spark: Durch das Festlegen von Executor-Instanzen werden die Executors nicht geändert.
Ich habe eine Apache Spark-Anwendung, die im Cluster-Modus auf einem YARN-Cluster ausgeführt wird (der Spark hat 3 Knoten in diesem Cluster). Wenn die Anwendung ausgeführt wird, zeigt die Spark-UI, dass auf dem dritten Knoten zwei Ausführer (die ...
Apache Hadoop Yarn - Unterauslastung der Kerne
Egal wie viel ich mit den einstellungen in @ bastyarn-site.xml d. h. mit allen folgenden Optionen yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...