Suchergebnisse für Anfrage "mapreduce"
Kann Hive rekursiv in Unterverzeichnisse absteigen, ohne Partitionen zu erstellen oder hive-site.xml zu bearbeiten?
Ich habe einige Webserver-Protokolle, die ich mit Hive abfragen möchte. Die Verzeichnisstruktur in HDFS sieht folgendermaßen aus: /data/access/web1/2014/09 /data/access/web1/2014/09/access-20140901.log [... etc ...] /data/access/web1/2014/10 ...
Was ist der Keyword-Kontext in der Hadoop-Programmierwelt?
Was genau ist dieses SchlüsselwortKontex in der Welt von Hadoop MapReduce in neuen API-Begriffen? Es wird häufig verwendet, um Ausgabepaare aus Maps und Reduce zu schreiben. Ich bin mir jedoch nicht sicher, ob es woanders verwendet werden kann ...
Reduzieren Sie mit Apache Spark ein Schlüsselwertpaar in ein Schlüssellistenpaar
Ich schreibe eine Spark-Anwendung und möchte eine Reihe von Schlüssel-Wert-Paaren kombinieren(K, V1), (K, V2), ..., (K, Vn) in ein Schlüssel-Mehrwert-Paar(K, [V1, V2, ..., Vn]). Ich habe das Gefühl, ich sollte dies mit dem @ tun könnreduceByKey ...
Map Client-Jars für 2.4.1 Hadoop in Eclipse reduzieren
Wenn ich mein @ starhadoop mapreduce word count jar imhadoop Ordner in der Shell, läuft es richtig und die Ausgabe wird richtig generiert, Seit ich @ benutyarn im Falle vonhadoop 2.4.1, wenn ich von Eclipse für @ laufMapReduce Sample program, ...
Wie verwende ich Cassandras Map Reduce mit oder ohne Pig?
Kann jemand erklären, wie MapReduce mit Cassandra .6 funktioniert? Ich habe das Wortzählungsbeispiel durchgelesen, aber ich verfolge nicht ganz, was auf der Cassandra-Seite im Vergleich zur "Client" -Seite passiert. https: ...
Hadoop mehrere Eingänge
Ich benutze Hadoop Map Reduce und möchte zwei Dateien berechnen. Meine erste Map / Reduce-Iteration gibt mir eine Datei mit einer Paar-ID-Nummer wie folgt: A 30 D 20Mein Ziel ist es, diese ID aus der Datei zu verwenden, um sie einer anderen ...
Hadoop partitioner
Ich möchte nach dem Hadoop-Partitionierer fragen. Ist er in Mappers implementiert? So messen Sie die Leistung der Verwendung des standardmäßigen Hash-Partitionierers: Gibt es einen besseren Partitionierer, um den Datenversatz zu ...
Hadoop 2.6.0: Grundfehler beim Starten von MRAppMaster nach der Installation von
Ich habe gerade angefangen, mit Hadoop 2 zu arbeiten. Nach der Installation mit grundlegenden Konfigurationen habe ich immer keine Beispiele ausgeführt. Hat jemand dieses Problem gesehen und bitte helfen Sie mir? Und der Fehler ist so etwas ...
MongoDB: Wozu MapReduce ohne Parallelität verwenden?
Quotinghttp: //www.mongodb.org/display/DOCS/MapReduce#MapReduce-Parallelis [http://www.mongodb.org/display/DOCS/MapReduce#MapReduce-Parallelism] Als derzeitige MapReduce-Jobs auf einem einzelnen Mongod-Prozess sind Single-Thread-Jobs. Dies liegt ...
Wie definiere ich ein AVRO-Schema für ein komplexes JSON-Dokument?
Ich habe ein JSON-Dokument, das ich in Avro konvertieren möchte, und benötige ein Schema, das für diesen Zweck angegeben wird. Hier ist das JSON-Dokument, für das ich das Avro-Schema definieren möchte: { "uid": 29153333, "somefield": ...