Suchergebnisse für Anfrage "hadoop"
Master muss mit Garn beginnen, Funken
Ich erhalte diesen Fehler, wenn das SparkPi-Beispiel ausgeführt werden soll. beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class ...
Wie funktioniert der Failover-Prozess von Hadoop Namenode?
Hadoop defintive Leitfaden sagt - Jeder Name läuft Ein einfacher Failover-Controller-Prozess, dessen Aufgabe es istm seinen Namenode auf Fehler zu überwach (unter Verwendung eines einfachen Heartbeat-Mechanismus) und Auslösen eines Failovers, ...
avro Fehler in AWS EMR
Ich benutze Spark-Redshift https: //github.com/databricks/spark-redshif [https://github.com/databricks/spark-redshift]) die avro für die Übertragung verwendet. Reading von Redshift ist OK, während ich schreibe bekomme ich Caused by: ...
Twitter (Social Networking) Datensatz
Ich suche nach einem Datensatz für Twitter oder andere soziale Netzwerke für mein Projekt. Ich habe derzeit den CAW 2.0-Twitter-Datensatz, aber er enthält nur Tweets von Benutzern. Ich möchte Daten, die die Anzahl der Freunde, Follower und ...
Combiner Implementierung und interne Arbeitsweise
Ich möchte einen Kombinierer in meinem MR-Code verwenden, z. B. WordCount. Wie soll ich es implementieren? Welche Art von Daten wird vom Kombinierer an den Reduzierer übergeben? Es ist großartig, wenn mir jemand von euch Codes sowohl für den ...
Leere Partitionen aus Spark RDD entfernen
Ich rufe Daten von HDFS ab und speichere sie in einem Spark-RDD. Spark erstellt die Anzahl der Partitionen basierend auf der Anzahl der HDFS-Blöcke. Dies führt zu einer großen Anzahl leerer Partitionen, die auch während der ...
YARN Shell-Befehl zum Abrufen der Anzahl der Container und VCores, die zum Ausführen von Anwendungen verwendet werden.
hadoop job -list scheint nur Mapreduce-Jobs anzuzeigen, aber in der Benutzeroberfläche meines Ressourcenmanagers werden für alle Jobs, die auf YARN ausgeführt werden (einschließlich Spark und Tez), Dinge wie "Allocated CPU VCores" und "Allocated ...
Wie Hadoop entscheidet, wie viele Knoten Aufgaben zuordnen und reduzieren sollen
Ich bin neu in Hadoop und ich versuche es zu verstehen. Ich spreche von Hadoop 2. Wenn ich eine Eingabedatei habe, für die ich MapReduce ausführen möchte, sage ich im MapReduce-Programm den Parameter des Split, damit so viele Map-Tasks ...
Zusammenarbeiten von Spark, Python und MongoDB
Ich habe Schwierigkeiten, diese Komponenten richtig zusammenzufügen. Ich habe Spark installiert und arbeite erfolgreich. Ich kann Jobs lokal, eigenständig und auch über YARN ausführen. Ich habe die empfohlenen Schritte befolgt (nach ...
Hadoop-Fehler unter Windows: java.lang.UnsatisfiedLinkError
Ich bin neu bei Hadoop und versuche, meinen ersten Mapreduce-Job mit Wordcount auszuführen. Bei jedem Versuch wird jedoch der folgende Fehler angezeigt: java.lang.UnsatisfiedLinkError: ...