Suchergebnisse für Anfrage "hdfs"
Werden mehrere Dateien in einem Block gespeichert?
Wenn ich viele kleine Dateien in HDFS speichere, werden sie dann in einem einzigen Block gespeichert? Meiner Meinung nach sollten diese kleinen Dateien gemäß dieser Diskussion in einem einzigen Block gespeichert werden:HDFS-Blockgröße Vs ...
Hadoop Getmerge zu einer anderen Maschine
Ist es möglich die Ausgabe des zu speichern?hadoop dfs -getmerge Befehl an eine andere Maschine? Der Grund dafür ist, dass auf meinem lokalen Computer nicht genügend Speicherplatz vorhanden ist. Die Jobausgabe beträgt 100 GB und mein ...
Der hdfs-Datenknoten wurde vom namenode getrennt
Ich bekomme von Zeit zu Zeit folgende Fehler im Cloudera Manager: This DataNode is not connected to one or more of its NameNode(s).und The Cloudera Manager agent got an unexpected response from this role's web server.(normalerweise zusammen, ...
Holen Sie sich einige Zeilen HDFS-Daten
Ich habe eine2 GB Daten in meinemHDFS. Ist es möglich, diese Daten nach dem Zufallsprinzip abzurufen? Wie wir es in der Unix-Kommandozeile tun cat iris2.csv |head -n 50
Die HDFS-Spüle von Flume rollt ständig kleine Dateien
Ich versuche, Twitter-Daten mit flume in hdfs zu streamen und dies: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Was auch immer ich hier versuche, es erstellt weiterhin Dateien in HDFS ...
Der voreingestellte Namenode-Port von HDFS ist 50070. Aber ich bin an einigen Stellen auf 8020 oder 9000 gestoßen
Beim Einrichten des Hadoop-Clusters habe ich gelesen, dass der Namensknoten auf 50070 ausgeführt wird, und ich habe ihn entsprechend eingerichtet, und er funktioniert einwandfrei. Aber in einigen Büchern bin ich auf Name, Knoten, Adresse ...
pandas pytables append: Leistung und Zunahme der Dateigröße
Ich habe mehr als 500PyTables Speicher, die jeweils etwa 300 MB Daten enthalten. Ich möchte diese Dateien mithilfe von Pandas in einem großen Geschäft zusammenführenappend wie im Code unten. def merge_hdfs(file_list, merged_store): for file in ...
Remote-HDFS-Datei mit Java lesen
Ich habe ein paar Probleme mit einer einfachen Hadoop-Installation. Ich habe Hadoop 2.4.0 heruntergeladen und auf einem einzelnen CentOS Linux-Knoten (Virtual Machine) installiert. Ich habe Hadoop für einen einzelnen Knoten mit Pseudoverteilung ...
Was sollte hadoop.tmp.dir sein?
Hadoop hat Konfigurationsparameterhadoop.tmp.dir was laut Dokumentation ""Eine Basis für andere temporäre Verzeichnisse." Ich nehme an, dieser Pfad bezieht sich auf das lokale Dateisystem. Ich habe diesen Wert auf ...
Fehler beim Versuch, auf hdfs zu schreiben: Server IPC Version 9 kann nicht mit Client Version 4 kommunizieren
Ich versuche mit scala eine Datei in hdfs zu schreiben und bekomme immer wieder den folgenden Fehler Caused by: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 ...