Suchergebnisse für Anfrage "mapreduce"
org.apache.hadoop.mapreduce.counters.LimitExceededException: Zu viele Zähler: 121 max = 120
Ich leite einen Hadoop-Job (von oozie） mit wenigen Zählern und mehreren Ausgängen). Ich erhalte folgende Fehlermeldung: org.apache.hadoop.mapreduce.counters.LimitExceededException: Zu viele Zähler: 121 max = 120 Dann entfernte ich den gesamten ...
Fehler in Hadoop MapReduce
Wenn ich ein Mapreduce-Programm mit Hadoop ausführe, wird die folgende Fehlermeldung angezeigt. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with ...
Wie benutzt man Mapreduce in Mungo / Mongodb Query Filialdokument?
Ich habe ein einfaches Nachrichtensystem in mongoose / mongodb implementiert, das Schema ist wie folgt var schema = new mongoose.Schema({ user: {type:String, required:true}, updated: {type:Date, default:new Date()}, msgs: [ {m:String, // message ...
Hadoop DistributedCache ist veraltet - was ist die bevorzugte API?
Meine Map-Tasks benötigen einige Konfigurationsdaten, die ich über den Distributed Cache verteilen möchte. Der HadoopMapReduce Tutorial [https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#DistributedCache] zeigt ...
Was ist die ideale Anzahl von Reduzierungen bei Hadoop?
Wie im Hadoop-Wiki angegeben, beträgt die ideale Anzahl der Reduzierungen 0,95 oder 1,75 * (node * mapred.tasktracker.tasks.maximum). aberwann 0,95 und wann 1,75 wählen? Was ist der Faktor, der bei der Entscheidung für diesen Multiplikator ...
Wie kann ich auf die Mapper / Reducer-Zähler auf der Ausgangsstufe zugreifen?
Ich habe einige Zähler in meiner Mapper-Klasse erstellt: (Beispiel geschrieben mit der Appengine-Mapreduce Java Library v.0.5) @Override public void map(Entity entity) { getContext().incrementCounter("analyzed"); if ...
hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Ich versuche, eine komprimierte Sequenzdatei mit schnellen Blöcken aus einem Kartenverkleinerungsjob zu schreiben. Ich verwende Hadoop 2.0.0-CDH4.5.0 und Snappy-Java 1.0.4.1 Hier ist mein Code: package jinvestor.jhouse.mr; import ...
Funktioniert die $ in-Klausel von MongoDB in der Garantiebestellung?
Bei Verwendung von MongoDB's$in [http://docs.mongodb.org/manual/reference/operator/query/in/]Klausel, stimmt die Reihenfolge der zurückgegebenen Dokumente immer mit der Reihenfolge des Array-Arguments überein?
Das Wordcount-Programm steckt in hadoop-2.3.0 fest
Ich habe hadoop-2.3.0 installiert und versucht, das Wordcount-Beispiel auszuführen, aber es startet den Job und befindet sich im Leerlauf hadoop@ubuntu:~$ $HADOOP_HOME/bin/hadoop ...
Mongodb wählt alle Felder aus, gruppiert nach einem Feld und sortiert nach einem anderen Feld
Wir haben die Sammlung "Nachricht" mit folgenden Feldern _id | messageId | chainId | createOn 1 | 1 | A | 155 2 | 2 | A | 185 3 | 3 | A | 225 4 | 4 | B | 226 5 | 5 | C | 228 6 | 6 | B | 300Wir möchten alle Dokumentfelder mit folgenden Kriterien ...