Suchergebnisse für Anfrage "hadoop"
Die HDFS-Spüle von Flume rollt ständig kleine Dateien
Ich versuche, Twitter-Daten mit flume in hdfs zu streamen und dies: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Was auch immer ich hier versuche, es erstellt weiterhin Dateien in HDFS ...
hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Ich versuche, eine komprimierte Sequenzdatei mit schnellen Blöcken aus einem Kartenverkleinerungsjob zu schreiben. Ich verwende Hadoop 2.0.0-CDH4.5.0 und Snappy-Java 1.0.4.1 Hier ist mein Code: package jinvestor.jhouse.mr; import ...
Holen Sie sich einige Zeilen HDFS-Daten
Ich habe eine2 GB Daten in meinemHDFS. Ist es möglich, diese Daten nach dem Zufallsprinzip abzurufen? Wie wir es in der Unix-Kommandozeile tun cat iris2.csv |head -n 50
Hadoop-Job kann nicht remote ausgeführt werden
Ich möchte einen Hadoop-Job von einem Windows-Computer aus ausführen. Der Cluster läuft unter Ubuntu. Grundsätzlich möchte ich zwei Dinge tun: Führen Sie den Hadoop-Job remote aus.Rufen Sie das Ergebnis aus dem hadoop-Ausgabeverzeichnis ab.Ich ...
So konfigurieren Sie die Hosts-Datei für das Hadoop-Ökosystem
! [Bildbeschreibung hier eingeben] [1] Die Frage scheint ziemlich offensichtlich zu sein, aber ich habe sie oft gestellt, weil die Hosts-Datei auf einem Hadoop-Cluster nicht richtig konfiguriert ist. Kann jemand beschreiben, wie Hosts-Datei und ...
SerDe-Probleme mit Hive 0.12 und Hadoop 2.2.0-cdh5.0.0-beta2
Der Titel ist etwas seltsam, da ich Schwierigkeiten habe, das Problem einzugrenzen. Ich habe meine Lösung auf Hadoop 2.0.0-cdh4.4.0 und Hive 0.10 ohne Probleme verwendet. Ich kann mit diesem SerDe keine Tabelle ...
HBase Scan-Leistung
Ich führe einen Entfernungsscan durch, der mir 500.000 Datensätze gibt. Wenn ich setzescan.setCaching(100000) Es dauerte weniger als eine Sekunde, aber wennscan.setCaching(100000) ist nicht gesetzt dauerte es fast 38 sek. Wenn ich ...
Integrieren von Hbase in Hive: Registrieren Sie die Hbase-Tabelle
Ich verwende Hortonworks Sandbox 2.0, die die folgende Version von Hbase und Hive enthält Component Version ------------------------ Apache Hadoop 2.2.0 Apache Hive 0.12.0 Apache HBase 0.96.0 Apache ZooKeeper 3.4.5... und ich versuche, ...
Der voreingestellte Namenode-Port von HDFS ist 50070. Aber ich bin an einigen Stellen auf 8020 oder 9000 gestoßen
Beim Einrichten des Hadoop-Clusters habe ich gelesen, dass der Namensknoten auf 50070 ausgeführt wird, und ich habe ihn entsprechend eingerichtet, und er funktioniert einwandfrei. Aber in einigen Büchern bin ich auf Name, Knoten, Adresse ...
Wie transponiere / piviere ich Daten im Hive?
Ich weiß, dass es keine direkte Möglichkeit gibt, Daten in Hive zu transponieren. Ich bin dieser Frage gefolgt:Gibt es eine Möglichkeit, Daten in Hive zu ...