Suchergebnisse für Anfrage "hadoop"

2 die antwort

Die HDFS-Spüle von Flume rollt ständig kleine Dateien

Ich versuche, Twitter-Daten mit flume in hdfs zu streamen und dies: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Was auch immer ich hier versuche, es erstellt weiterhin Dateien in HDFS ...

6 die antwort

hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z

Ich versuche, eine komprimierte Sequenzdatei mit schnellen Blöcken aus einem Kartenverkleinerungsjob zu schreiben. Ich verwende Hadoop 2.0.0-CDH4.5.0 und Snappy-Java 1.0.4.1 Hier ist mein Code: package jinvestor.jhouse.mr; import ...

7 die antwort

Holen Sie sich einige Zeilen HDFS-Daten

Ich habe eine2 GB Daten in meinemHDFS. Ist es möglich, diese Daten nach dem Zufallsprinzip abzurufen? Wie wir es in der Unix-Kommandozeile tun cat iris2.csv |head -n 50

TOP-Veröffentlichungen

1 die antwort

Hadoop-Job kann nicht remote ausgeführt werden

Ich möchte einen Hadoop-Job von einem Windows-Computer aus ausführen. Der Cluster läuft unter Ubuntu. Grundsätzlich möchte ich zwei Dinge tun: Führen Sie den Hadoop-Job remote aus.Rufen Sie das Ergebnis aus dem hadoop-Ausgabeverzeichnis ab.Ich ...

3 die antwort

So konfigurieren Sie die Hosts-Datei für das Hadoop-Ökosystem

! [Bildbeschreibung hier eingeben] [1] Die Frage scheint ziemlich offensichtlich zu sein, aber ich habe sie oft gestellt, weil die Hosts-Datei auf einem Hadoop-Cluster nicht richtig konfiguriert ist. Kann jemand beschreiben, wie Hosts-Datei und ...

1 die antwort

SerDe-Probleme mit Hive 0.12 und Hadoop 2.2.0-cdh5.0.0-beta2

Der Titel ist etwas seltsam, da ich Schwierigkeiten habe, das Problem einzugrenzen. Ich habe meine Lösung auf Hadoop 2.0.0-cdh4.4.0 und Hive 0.10 ohne Probleme verwendet. Ich kann mit diesem SerDe keine Tabelle ...

2 die antwort

HBase Scan-Leistung

Ich führe einen Entfernungsscan durch, der mir 500.000 Datensätze gibt. Wenn ich setzescan.setCaching(100000) Es dauerte weniger als eine Sekunde, aber wennscan.setCaching(100000) ist nicht gesetzt dauerte es fast 38 sek. Wenn ich ...

1 die antwort

Integrieren von Hbase in Hive: Registrieren Sie die Hbase-Tabelle

Ich verwende Hortonworks Sandbox 2.0, die die folgende Version von Hbase und Hive enthält Component Version ------------------------ Apache Hadoop 2.2.0 Apache Hive 0.12.0 Apache HBase 0.96.0 Apache ZooKeeper 3.4.5... und ich versuche, ...

7 die antwort

Der voreingestellte Namenode-Port von HDFS ist 50070. Aber ich bin an einigen Stellen auf 8020 oder 9000 gestoßen

Beim Einrichten des Hadoop-Clusters habe ich gelesen, dass der Namensknoten auf 50070 ausgeführt wird, und ich habe ihn entsprechend eingerichtet, und er funktioniert einwandfrei. Aber in einigen Büchern bin ich auf Name, Knoten, Adresse ...

8 die antwort

Wie transponiere / piviere ich Daten im Hive?

Ich weiß, dass es keine direkte Möglichkeit gibt, Daten in Hive zu transponieren. Ich bin dieser Frage gefolgt:Gibt es eine Möglichkeit, Daten in Hive zu ...