Suchergebnisse für Anfrage "hadoop"
Werden mehrere Dateien in einem Block gespeichert?
Wenn ich viele kleine Dateien in HDFS speichere, werden sie dann in einem einzigen Block gespeichert? Meiner Meinung nach sollten diese kleinen Dateien gemäß dieser Diskussion in einem einzigen Block gespeichert werden:HDFS-Blockgröße Vs ...
Fehler im Molch beim Laden der Daten
Ich benutze Ubuntu 12.02 32bit und habe installierthadoop2.2.0undSchwein 0,12 erfolgreich. Hadoop läuft einwandfrei auf meinem System. Immer wenn ich diesen Befehl ausführe: data = load 'atoz.csv' using PigStorage(',') as (aa1:int, bb1:int, ...
Dynamische Partitionierung + CREATE AS auf HIVE
Ich versuche mit eine neue Tabelle aus einer anderen Tabelle zu erstellenCREATE AS und dynamische Partitionierung auf HiveCLI. Ich lerne aus dem offiziellen Hive-Wiki, wo es dieses Beispiel gibt: CREATE TABLE T (key int, value string) ...
So listen Sie nur die Dateinamen in HDFS auf
Ich würde gerne wissen, ob es irgendeinen Befehl / Ausdruck gibt, um nur den Dateinamen in Hadoop zu erhalten. Ich muss nur den Namen der Datei holen, wenn ich das tuehadoop fs -ls es druckt den gesamten Pfad. Ich habe es unten versucht, mich ...
Ausnahme in createBlockOutputStream beim Kopieren von Daten in HDFS
Beim Kopieren der Daten in HDFS werden die folgenden Warnmeldungen angezeigt. Ich habe 6 Knoten Cluster ausgeführt. Jedes Mal, wenn beim Kopieren die beiden Knoten ignoriert werden, werden die folgenden Warnmeldungen angezeigt. INFO ...
Hadoop Getmerge zu einer anderen Maschine
Ist es möglich die Ausgabe des zu speichern?hadoop dfs -getmerge Befehl an eine andere Maschine? Der Grund dafür ist, dass auf meinem lokalen Computer nicht genügend Speicherplatz vorhanden ist. Die Jobausgabe beträgt 100 GB und mein ...
Laden von Daten aus einer TXT-Datei in eine als ORC in Hive gespeicherte Tabelle
Ich habe eine Datendatei, die in ist.txt Format. Ich verwende die Datei, um Daten in Hive-Tabellen zu laden. Wenn ich die Datei in eine Tabelle lade wie CREATE TABLE test_details_txt( visit_id INT, store_id SMALLINT) STORED AS TEXTFILE;Die Daten ...
Der hdfs-Datenknoten wurde vom namenode getrennt
Ich bekomme von Zeit zu Zeit folgende Fehler im Cloudera Manager: This DataNode is not connected to one or more of its NameNode(s).und The Cloudera Manager agent got an unexpected response from this role's web server.(normalerweise zusammen, ...
Was ist die ideale Anzahl von Reduzierungen bei Hadoop?
Wie im Hadoop-Wiki angegeben, beträgt die ideale Anzahl der Reduzierungen 0,95 oder 1,75 * (node * mapred.tasktracker.tasks.maximum). aberwann 0,95 und wann 1,75 wählen? Was ist der Faktor, der bei der Entscheidung für diesen Multiplikator ...
datetime in pig richtig laden
Ich lade eine tsv-Datei mit einer datetime-Spalte und einer langen Spalte mit: A = LOAD 'tweets-clean.txt' USING PigStorage('\t') AS (date:datetime, userid:long); DUMP A;Eine beispielhafte Eingabezeile: Tue Feb 11 05:02:10 +0000 2014 ...