Suchergebnisse für Anfrage "hadoop"
Warum dauert es im Allgemeinen so lange, einen Job bei mapreduce einzureichen?
Normalerweise dauert es für Cluster mit 20 Knoten, die einen Auftrag zur Verarbeitung von 3 GB (200 Teilungen) Daten senden, ungefähr 30 Sekunden und die tat...
Wie lese ich mehrere Zeilenelemente in Spark?
Wenn Sie eine Datei in Spark mit @ les sc.textfile gibt es Ihnen Elemente, wobei jedes Element eine separate Zeile ist. Ich möchte jedoch, dass jedes Element aus N Zeilen besteht. Ich kann auch keine Trennzeichen verwenden, da diese Datei keine ...
Was sind die Formate für Sequenzdateien und Parkettdateien in Hive?
Können Sie anhand eines Echtzeitbeispiels erklären, wo Sequenzdatei und Parkettdatei verwendet werden sollen?
Map Reduce Job bleibt bei Map hängen 0% Reduce 0%
Ich verwende das berühmte Wordcount-Beispiel. Ich habe ein lokales und prod hadoop Setup. Das gleiche Beispiel funktioniert in prod, aber nicht lokal. Kann m...
Fehler in Hadoop MapReduce
Wenn ich ein Mapreduce-Programm mit Hadoop ausführe, wird die folgende Fehlermeldung angezeigt. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with ...
Kann OLAP CUBE in HBase erstellt werden?
Gibt es eine Möglichkeit, damit CUBE DIMENSIONS in HBase oder OLAP zu erstellen? Ich möchte mit meiner HBASE oder HIVE eine Art CUBE DIMENSIONS-Anwendung ers...
Python-Lesedatei als Stream von HDFS
Hier ist mein Problem: Ich habe eine Datei in HDFS, die möglicherweise sehr groß sein kann (= nicht genug, um alle in den Speicher zu passen).Was ich tun möc...
Change block size of dfs file
Meine Map ist derzeit ineffizient, wenn ein bestimmter Satz von Dateien analysiert wird (insgesamt 2 TB). Ich möchte die Blockgröße von Dateien im Hadoop-DFS ändern (von 64 MB auf 128 MB). Ich kann in der Dokumentation nicht feststellen, wie dies ...
So serialisiere ich ein Objekt in Hadoop (in HDFS)
Ich habe eine HashMap <String, ArrayList <Integer>>. Ich möchte mein HashMap-Objekt (hmap) in einen HDFS-Speicherort serialisieren und es später in Mapper and Reducers deserialisieren, um es zu verwenden. Um mein HashMap-Objekt unter HDFS zu ...