Suchergebnisse für Anfrage "hadoop"
Was sollte hadoop.tmp.dir sein?
Hadoop hat Konfigurationsparameterhadoop.tmp.dir was laut Dokumentation ""Eine Basis für andere temporäre Verzeichnisse." Ich nehme an, dieser Pfad bezieht sich auf das lokale Dateisystem. Ich habe diesen Wert auf ...
Fehler beim Versuch, auf hdfs zu schreiben: Server IPC Version 9 kann nicht mit Client Version 4 kommunizieren
Ich versuche mit scala eine Datei in hdfs zu schreiben und bekomme immer wieder den folgenden Fehler Caused by: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 ...
Neuausrichtung von Hadoop und HBase nach Hinzufügen von Knoten
Ich habe eine grundlegende Frage zum Lastenausgleich. Ich habe gerade neue Knoten zu unserem Hadoop (2.3) -Cluster hinzugefügt, der auch hbase v0.98 enthält. Nach der Hinzufügung und nachdem alle Knoten in hadoop und hbase online sind, Wie ist ...
Erstellen von Hive-Partitionen für mehrere Monate mithilfe eines Skripts
Ich habe Daten für 4 Jahre. Mögen '2011 2012 2013 2014'Ich muss Abfragen basierend auf den Daten eines Monats ausführen. Also erstelle ich Partitionen wie unten. 'ALTER TABLE table1_2010Jan ADD PARTITION(year='2010', month='01', ...
Automatische Aufteilung von HBase-Regionen mithilfe von hbase.hregion.max.filesize
Ich verwende die Cloudera-Distribution von HBase (hbase-0.94.6-cdh4.5.0) und den Cloudera-Manager, um alle Cluster-Konfigurationen einzurichten. Ich habe die folgende Eigenschaft für HBase eingerichtet: <property> ...
Fehler beim Ausführen von Mapreduce (Garn) von Windows Eclipse
Ich führe ein WordCount-Programm von meiner Sonnenfinsternis aus. Ich habe es mit Hadoop1.x versucht, es läuft gut. Problem beim Laufen auf hadoop2.x Ich habe versucht, 1) fügte alle XML in meinem Klassenpfad. 2) habe auch conf.set () ...
Apache Spark EOF-Ausnahme
Ich erhalte eine EOFException, wenn ein einfacher Job ausgeführt wird, der eine Textdatei liest und die Ergebnisse sammelt. Dies funktioniert gut auf meinem Entwicklungscomputer, schlägt jedoch fehl, wenn es im Standalone-Modus ausgeführt wird ...
Welche Bedeutung haben Namespace und Metadaten, die in hdfs (namenode) verwendet wurden?
Als Anfänger von Hadoop bin ich mit diesen Wörtern Namespace und Metadaten verwechselt. Gibt es eine Beziehung zwischen diesen beiden?
Schreiben Sie in mehrere Ausgaben mit der Taste Scalding Hadoop, einem MapReduce-Job
Wie können Sie mit Scalding (/ cascading) in einem einzelnen Map Reduce-Job in mehrere Ausgaben schreiben, die vom Schlüssel abhängig sind? Das könnte ich natürlich gebrauchen.filter für alle möglichen Schlüssel, aber das ist ein schrecklicher ...
Schreiben Sie mit dem Schlüssel Spark - ein Spark-Job auf mehrere Ausgänge
Wie können Sie mit Spark in einem einzigen Job in mehrere Ausgaben schreiben, die vom Schlüssel abhängig sind? Verbunden:Schreiben Sie in mehrere Ausgaben mit der Taste Scalding Hadoop, ...