Suchergebnisse für Anfrage "mapreduce"
Ausnahme im Thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC Version 9 kann nicht mit Client Version 4 kommuniziere
Ich verwende Hadoop 2.7.0 und Java Oracle JDK 1.7.0_79 mit NetBeans IDE 8.0.2. Wenn ich versuche, mit Hadoop über die Java-Datei zu kommunizieren, wird die folgende Fehlermeldung angezeigt. Gibt es Abhängigkeiten? Oder wie kann ich diesen Fehler ...
Mapreduce-Fehler: Fehler beim Einrichten des lokalen Verzeichnisses
Ich führe Mapreduce WordCount-Beispiel auf Hadoop aus, das auf Windows 8 installiert ist. Ich habe den folgenden Fehler erhalten. Es klingt wie ein Sicherheitserlaubnisproblem. Ich bin mir aber nicht ganz sicher. Ich habe der Datei yarn-site.xml ...
Finden des größten Werts für key
ch möchte das größte Land mit der größten Fläche herausfinde mein Datensatz ist wie folgt Afghanistan 648 Albania 29 Algeria 2388 Andorra 0 Austria 84 Bahrain 1 Bangladesh 143 Belgium 31 Benin 113 Bhutan 47 Brunei 6 Bulgaria 111 Burma ...
Duplikate aus MongoDB entfernen
hi Ich habe ~ 5 Millionen Dokumente in Mongodb (Replikation) jedes Dokument 43 Felder. So entfernen Sie doppeltes Dokument. Ich habe versuch db.testkdd.ensureIndex({ duration : 1 , protocol_type : 1 , service : 1 , flag : 1 , src_bytes : 1 , ...
Ist es möglich, einen MapReduce-Job am Zugriff auf entfernte Daten zu hindern?
Wir haben einen bestimmten Algorithmus, den wir in HDFS integrieren möchten. Der Algorithmus verlangt, dass wir lokal auf Daten zugreifen (die Arbeit würde ausschließlich im @ erledigt werdenMapper). Wir möchten jedoch die Vorteile von HDFS bei ...
Apache Hive MSCK REPAIR TABLE neue Partition nicht hinzugefügt
Ich bin neu bei Apache Hive. Wenn ich bei der Arbeit an einer externen Tabellenpartition eine neue Partition direkt zu HDFS hinzufüge, wird die neue Partition nach dem Ausführen der MSCK REPAIR-Tabelle nicht hinzugefügt. Unten sind die Codes, die ...
Kann Apache Spark ohne Hadoop ausgeführt werden?
Gibt es Abhängigkeiten zwischenFunk und Hadoop? Wenn nicht, gibt es irgendwelche Funktionen, die ich vermissen werde, wenn ich laufeFunk ohne Hadoop?
Wo sendet das hadoop mapreduce-Framework meine System.out.print () -Anweisungen? (stdout)
Ich möchte ein Mapreduce-Skript debuggen und habe ohne großen Aufwand versucht, einige print-Anweisungen in mein Programm zu integrieren. Aber ich kann sie in keinem der Protokolle finden.
Fehlerbehandlung in der Hadoop-Karte reduzieren
Basierend auf der Dokumentation gibt es ein paar Möglichkeiten, wie die Fehlerbehandlung in Map Reduce durchgeführt wird. Unten sind die wenigen: ein. Benutzerdefinierte Zähler mit Aufzählungsinkrement für jeden fehlgeschlagenen Datensatz. b. ...
Hadoop 1.2.1 - Multinode-Cluster - Reduzierungsphase hängt für Wordcount-Programm?
Meine Frage klingt hier vielleicht überflüssig, aber die Lösung für die früheren Fragen war alle ad-hoc. wenige habe ich aber noch nicht ausprobiert. Acutally arbeite ich an hadoop-1.2.1 (auf Ubuntu 14), Anfangs hatte ...