Suchergebnisse für Anfrage "mapreduce"
Warum erlaubt Spark keine kartenseitige Kombination mit Array-Schlüsseln?
Ich verwende Spark 1.3.1 und bin gespannt, warum Spark die Verwendung von Array-Schlüsseln bei der Map-Side-Kombination nicht zulässt. Stück voncombineByKey function: if (keyClass.isArray) { if (mapSideCombine) { throw new ...
Hadoop - Erforderliche Hilfe zum Verständnis der Verarbeitungsschritte
Ich habe eine komprimierte Datei und sie enthält 8 XML-Dateien mit einer Größe von 5 bis 10 KB. Ich habe diese Daten zu Testzwecken verwendet. Ich habe nur ein Map-Programm geschrieben, um die komprimierte Datei zu dekomprimieren. ...
Wie werden Container in MapReduce2 basierend auf VCores und Speicher erstellt?
Ich habe einen winzigen Cluster bestehend aus 1 Master (Name, Sekundärname, Ressourcemanager) und 2 Slaves (Datanode, Nodemanager). Ich habe in der yarn-site.xml des Masters eingestellt: yarn.scheduler.minimum-allocation-mb: ...
Combiner Implementierung und interne Arbeitsweise
Ich möchte einen Kombinierer in meinem MR-Code verwenden, z. B. WordCount. Wie soll ich es implementieren? Welche Art von Daten wird vom Kombinierer an den Reduzierer übergeben? Es ist großartig, wenn mir jemand von euch Codes sowohl für den ...
Wie Hadoop entscheidet, wie viele Knoten Aufgaben zuordnen und reduzieren sollen
Ich bin neu in Hadoop und ich versuche es zu verstehen. Ich spreche von Hadoop 2. Wenn ich eine Eingabedatei habe, für die ich MapReduce ausführen möchte, sage ich im MapReduce-Programm den Parameter des Split, damit so viele Map-Tasks ...
Gibt es ein .NET-Äquivalent zu Apache Hadoop? [geschlossen
Also, ich habe @ gesuc Hadoop [http://hadoop.apache.org/] Mit großem Interesse, und um ehrlich zu sein, ich bin fasziniert, die Dinge werden nicht viel cooler. ein einziges kleines Problem ist, dass ich ein C # -Entwickler bin und es in Java ...
Oozie> Java-Aktion> Warum funktioniert die Eigenschaft oozie.launcher.mapred.child.java.opts nicht?
Ich arbeite mit einer Java-Aktion an Oozie. Die Java-Aktion sollte die Java-Option -Xmx15g verwenden. Dementsprechend setze ich die Eigenschaft oozie.mapreduce.map.memory.mb auf 25600 (25G), falls zusätzlicher Speicher benötigt wird. Nach dieser ...
/ bin / bash: / bin / java: Keine solche Datei oder Verzeichnis
Ich habe versucht, ein einfaches MapReduce-Programm mit WordCount unter Verwendung von Java 1.7 SDK und Hadoop2.7.1 unter Mac OS X EL Captain 10.11 auszuführen. In meinem Containerprotokoll "stderr" / bin / bash wird folgende Fehlermeldung ...
Ausführen einer eigenständigen Hadoop-Anwendung auf mehreren CPU-Kernen
Mein Team erstellte eine Java-Anwendung unter Verwendung der Hadoop-Bibliotheken, um eine Reihe von Eingabedateien in nützliche Ausgaben umzuwandeln. Bei der aktuellen Auslastung reicht ein einzelner Multicore-Server für das kommende Jahr aus. ...
Was ist eine Sequenzdatei in Hadoop?
Ich bin neu bei Map-Reduce und möchte verstehen, was die Eingabe von Sequenzdatei-Daten ist. Ich habe im Hadoop-Buch studiert, aber es war schwer für mich zu verstehen.