Suchergebnisse für Anfrage "hdfs"
Hadoop:… auf 0 Knoten anstatt auf minReplication (= 1) repliziert werden. Es werden 1 Datenknoten ausgeführt, und in dieser Operation werden keine Knoten ausgeschlossen.
Ich erhalte die folgende Fehlermeldung, wenn ich versuche, im Rahmen meiner Multithread-Anwendung auf HDFS zu schreiben. could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are ...
Wie entpacke ich in HDFS gespeicherte Dateien mit Java, ohne sie zuerst in das lokale Dateisystem zu kopieren?
Wir speichern Zip-Dateien, die XML-Dateien enthalten, in HDFS. Wir müssen in der Lage sein, die Datei programmgesteuert zu entpacken und die enthaltenen XML-Dateien mit Java zu streamen. FileSystem.open gibt einen FSDataInputStream zurück, aber ...
Wie lese ich mehrere Zeilenelemente in Spark?
Wenn Sie eine Datei in Spark mit @ les sc.textfile gibt es Ihnen Elemente, wobei jedes Element eine separate Zeile ist. Ich möchte jedoch, dass jedes Element aus N Zeilen besteht. Ich kann auch keine Trennzeichen verwenden, da diese Datei keine ...
Cloudera 5.4.2: Avro-Blockgröße ist ungültig oder zu groß, wenn Flume- und Twitter-Streaming verwendet wird
Es gibt ein winziges Problem, wenn ich Cloudera 5.4.2 versuche. Basis auf diesem Artikel Apache Flume - Abrufen von ...
hadoop Benutzerdateiberechtigungen
Ich habe ein Problem beim Festlegen der Hadoop-Dateiberechtigungen in Hortonworks und Cloudera. Meine Anforderung lautet: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this ...
Lesen Sie ganze Textdateien aus einer Komprimierung in Spark
Ich habe das folgende Problem: Angenommen, ich habe ein Verzeichnis mit komprimierten Verzeichnissen, die mehrere auf HDFS gespeicherte Dateien enthalten. Ich möchte eine RDD erstellen, die aus einigen Objekten des Typs T besteht, d. context = ...
Was sind die Vor- und Nachteile des Parkettformats im Vergleich zu anderen Formaten?
Eigenschaften von Apache Parkett sind: SelbstbeschreibendColumnar Format SprachunabhängigIm Vergleich zu Avro, Sequence Files, RC File etc. möchte ich einen Überblick über die Formate. Ich habe schon gelesen:Wie Impala mit Hadoop-Dateiformaten ...
Wie man Dateien im HDFS-Verzeichnis auflistet
Wie zähle ich Dateien im HDFS-Verzeichnis auf? Dies dient zum Auflisten von Dateien im Apache Spark-Cluster mit Scala. Ich sehe, dass es die Option sc.textfile () gibt, die aber auch den Inhalt liest. Ich möchte nur Dateinamen lesen. Ich habe ...
PySpark: Lesen, Mappen und Verkleinern von mehrzeiligen Textdateien mit newAPIHadoopFile
Ich versuche so ein Problem zu lösen, das ein bisschen ähnlich wie @ idieser Beitra [https://stackoverflow.com/questions/31227363/creating-spark-data-structure-from-multiline-record] . Meine Originaldaten sind eine Textdatei, die Werte ...
Hive eine durch Kommas getrennte Tabelle hinzufügen
Ich habe eine sehr grundlegende Frage: Wie kann ich Hive eine sehr einfache Tabelle hinzufügen? Meine Tabelle wird in einer Textdatei (.txt) gespeichert, die in HDFS gespeichert wird. Ich habe versucht, eine externe Tabelle in Hive zu erstellen, ...