Suchergebnisse für Anfrage "mapreduce"
Beste Möglichkeit, eins zu viele "JOIN" in CouchDB zu machen
Ich suche nach einer CouchDB, die "SQL-Joins" entspricht. In meinem Beispiel gibt es CouchDB-Dokumente, die Listenelemente sind: { "type" : "el", "id" : "1", "content" : "first" } { "type" : "el", "id" : "2", "content" : "second" } { "type" : ...
Wie kann ich auf die Mapper / Reducer-Zähler auf der Ausgangsstufe zugreifen?
Ich habe einige Zähler in meiner Mapper-Klasse erstellt: (Beispiel geschrieben mit der Appengine-Mapreduce Java Library v.0.5) @Override public void map(Entity entity) { getContext().incrementCounter("analyzed"); if ...
Vorteile der Verwendung von NullWritable in Hadoop
Was sind die Vorteile der Verwendung
So serialisiere ich ein Objekt in Hadoop (in HDFS)
Ich habe eine HashMap <String, ArrayList <Integer>>. Ich möchte mein HashMap-Objekt (hmap) in einen HDFS-Speicherort serialisieren und es später in Mapper and Reducers deserialisieren, um es zu verwenden. Um mein HashMap-Objekt unter HDFS zu ...
hadoop java.net.URISyntaxException: Relativer Pfad in der absoluten URI: rsrc: hbase-common-0.98.1-hadoop2.jar
Ich habe einen Job zur Kartenreduzierung, der eine Verbindung zu HBASE herstellt, und ich kann nicht herausfinden, wo dieser Fehler auftritt: Exception in thread "main" java.lang.reflect.InvocationTargetException ...
Ausgabedateinamenpräfix für DataFrame.write () ändern
Output-Dateien, die mit der Spark-SQL-Methode DataFrame.write () generiert wurden, beginnen mit dem Basisnamen-Präfix "part". z.B DataFrame sample_07 = hiveContext.table("sample_07"); sample_07.write().parquet("sample_07_parquet");Ergebnisse ...
Hadoop Input Split Size vs. Block Size
Ich gehe durch den endgültigen Hadoop-Leitfaden, in dem die Eingabe-Splits klar erläutert werden. Es geht soEingabesplits enthalten keine tatsächlichen Daten...
Hadoop mehrere Eingänge
Ich benutze Hadoop Map Reduce und möchte zwei Dateien berechnen. Meine erste Map / Reduce-Iteration gibt mir eine Datei mit einer Paar-ID-Nummer wie folgt: A 30 D 20Mein Ziel ist es, diese ID aus der Datei zu verwenden, um sie einer anderen ...