Suchergebnisse für Anfrage "mapreduce"
Überprüfen Sie, ob jedes Element im Array der Bedingung entspricht
Ich habe eine Sammlung von Dokumenten: date: Date users: [ { user: 1, group: 1 } { user: 5, group: 2 } ] date: Date users: [ { user: 1, group: 1 } { user: 3, group: 2 } ]Ich möchte nach dieser Sammlung fragen, um alle Dokumente zu finden, in ...
Fehler beim Ausführen von Mapreduce (Garn) von Windows Eclipse
Ich führe ein WordCount-Programm von meiner Sonnenfinsternis aus. Ich habe es mit Hadoop1.x versucht, es läuft gut. Problem beim Laufen auf hadoop2.x Ich habe versucht, 1) fügte alle XML in meinem Klassenpfad. 2) habe auch conf.set () ...
Schreiben Sie in mehrere Ausgaben mit der Taste Scalding Hadoop, einem MapReduce-Job
Wie können Sie mit Scalding (/ cascading) in einem einzelnen Map Reduce-Job in mehrere Ausgaben schreiben, die vom Schlüssel abhängig sind? Das könnte ich natürlich gebrauchen.filter für alle möglichen Schlüssel, aber das ist ein schrecklicher ...
MongoDb: Findet ein gemeinsames Element aus zwei Arrays innerhalb einer Abfrage
Angenommen, wir haben Datensätze mit der folgenden Struktur in der Datenbank. { "_id": 1234, "tags" : [ "t1", "t2", "t3" ] }Jetzt möchte ich überprüfen, ob die Datenbank einen Datensatz mit einem der im Array angegebenen Tags enthälttagsArray ...
Ist die Ausgabe der Kartenphase des Mapreduce-Jobs immer sortiert?
Ich bin ein bisschen verwirrt mit der Ausgabe, die ich von Mapper bekomme. Wenn ich zum Beispiel ein einfaches Wordcount-Programm mit folgendem Eingabetext ausführe: hello world Hadoop programming mapreduce wordcount lets see if this ...
So geben Sie eine HDFS-Datei in R mapreduce ein, um sie zu verarbeiten und das Ergebnis in eine HDFS-Datei zu übertragen
Ich habe eine Frage ähnlich dem folgenden Link im Stackoverflow R + Hadoop: Wie lese ich eine CSV-Datei aus HDFS und führe mapreduce ...
Gradle Transitiver Abhängigkeitsausschluss funktioniert nicht wie erwartet. (Wie werde ich com.google.guava: guava-jdk5: 13.0 los?)
hier ist ein Ausschnitt aus meinem build.gradle: compile 'com.google.api-client:google-api-client:1.19.0' compile 'com.google.apis:google-api-services-oauth2:v2-rev77-1.19.0' compile 'com.google.apis:google-api-services-plus:v1-rev155-1.19.0' ...
Java8: HashMap <X, Y> zu HashMap <X, Z> mit Stream / Map-Reduce / Collector
Ich weiß, wie man ein einfaches Java "transformiert"List vonY ->Z, d. List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList());Jetzt möchte ich im Grunde dasselbe mit einer Map machen, d. H ...
Hadoop Map Reduce eine Textdatei lesen
Ich versuche, ein MapReduce-Programm zu schreiben, das eine Eingabedatei lesen und die Ausgabe in eine andere Textdatei schreiben kann. Ich plane, die BufferedReader-Klasse dafür zu verwenden. Aber ich weiß nicht genau, wie ich es in einem ...
Wie stelle ich die VCORES in hadoop mapreduce / yarn ein?
Die folgenden sind meine Konfiguration: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GB The Vcores in Hadoop Cluster angezeigt 8 GB, aber ich ...