Suchergebnisse für Anfrage "mapreduce"
Extrahieren von Zeilen mit bestimmten Werten mit mapReduce und hadoop
Ich bin neu in der Entwicklung der Kartenreduzierungsfunktion. Betrachte ich habe csv Datei mit vier Spaltendaten. Beispielsweise 101,87,65,67 102,43,45,40 103,23,56,34 104,65,55,40 105,87,96,40Now, ich möchte extrahieren sagen 40 102 40 104 ...
So serialisiere ich ein Objekt in Hadoop (in HDFS)
Ich habe eine HashMap <String, ArrayList <Integer>>. Ich möchte mein HashMap-Objekt (hmap) in einen HDFS-Speicherort serialisieren und es später in Mapper and Reducers deserialisieren, um es zu verwenden. Um mein HashMap-Objekt unter HDFS zu ...
Spark java.lang.StackOverflowError
Ich verwende spark, um den PageRank von Nutzerbewertungen zu berechnen, erhalte aber weiterhin Spark java.lang.StackOverflowError, wenn ich meinen Code auf einem großen Datensatz (40.000 Einträge) ausführe. Wenn Sie den Code für eine kleine ...
Warum ist die setMapOutputKeyClass-Methode im Mapreduce-Job erforderlich?
Wenn ich das Programm mapreduce schreibe, schreibe ich oft den Code wie job1.setMapOutputKeyClass(Text.class);Aber warum sollten wir die MapOutputKeyClass explizit angeben? Wir haben es bereits in der Mapper-Klasse spezifiziert, wie zB public ...
MongoDB Stored Procedure Equivalent
Ich habe eine große CSV-Datei mit einer Liste von Geschäften, in denen eines der Felder ZipCode ist. Ich habe eine separate MongoDB-Datenbank namens ZipCodes, in der der Breiten- und Längengrad für eine bestimmte Postleitzahl gespeichert ist. n ...
Mit MapReduce in MongoDB zwei Sammlungen beitreten
Ich weiß bereits, dass MongoDB keine Join-Operationen unterstützt, aber ich muss ein @ simulier$lookup (aus dem Aggregationsframework) mit demmapReduce Paradigma Meine zwei Sammlungen sind: // Employees sample { "_id" : "1234", "first_name" : ...
Wie kann ich ein Map / Reduce-Ergebnis erhalten, das in absteigender Reihenfolge nach dem Wert "value" sortiert ist? Wenn dies auch mit der Listenfunktion erreicht werden kann?
Ich habe Karte anzeigen und verkleinern wie folgt: Map: function(doc) { if(doc.type){ var usersLength = doc.users.length; for (var i = 0; i < usersLength ; i++) { emit([doc.users[i].userid,doc.Service.ownId], 1); } } }Reduzieren function(keys, ...
PySpark Wie man CSV in Dataframe einliest und manipuliert
Ich bin ein Neuling in Pyspark und versuche, damit einen großen Datensatz zu verarbeiten, der als CSV-Datei gespeichert wird. Ich möchte CSV-Dateien in Spark-Datenrahmen einlesen, einige Spalten löschen und neue Spalten hinzufügen. Wie soll ich ...
Wie wird ein Reduzierer zum Senden von <Text, IntWritable> und ein Mapper zum Empfangen von <Text, IntWritable> festgelegt?
Ich entwickle Code für hadoop mitKarte verkleiner das benutztzwei Mapper und zwei Reduzierer. Ich wurde angewiesen, @ zu verwend SequenceFileInputFormat und SequenceFileOutputFormat, damit die Ausgabe des ersten Reduzierers und die Eingabe des ...