Suchergebnisse für Anfrage "hadoop"
Der Hive-Metastore-Dienst oder die Hive-Shell können nicht gestartet werden, nachdem mysql mit hive @ konfiguriert wurd
Ich weiß, dass diese Frage bereits gestellt wurde, aber diese Antworten helfen in keiner Weise. Ich verbringe mehr Zeit damit, MySQL mit Hive zu konfigurieren. Jedes Mal, wenn ich auf Fehler stoße, verstehe ich nicht, wo es schief ...
Wie werden Spaltenüberschriften in Spark zugewiesen und verwendet?
Ich lese einen Datensatz wie unten. f = sc.textFile("s3://test/abc.csv")Meine Datei enthält über 50 Felder und ich möchte Spaltenüberschriften für jedes der Felder zuweisen, auf die später in meinem Skript verwiesen wird. Wie mache ich das in ...
Lesen Sie ganze Textdateien aus einer Komprimierung in Spark
Ich habe das folgende Problem: Angenommen, ich habe ein Verzeichnis mit komprimierten Verzeichnissen, die mehrere auf HDFS gespeicherte Dateien enthalten. Ich möchte eine RDD erstellen, die aus einigen Objekten des Typs T besteht, d. context = ...
Was sind die Vor- und Nachteile des Parkettformats im Vergleich zu anderen Formaten?
Eigenschaften von Apache Parkett sind: SelbstbeschreibendColumnar Format SprachunabhängigIm Vergleich zu Avro, Sequence Files, RC File etc. möchte ich einen Überblick über die Formate. Ich habe schon gelesen:Wie Impala mit Hadoop-Dateiformaten ...
Hadoop und 3D-Rendering von Bildern
Ich muss ein Projekt machen. Verteiltes Rendern eines 3D-Bildes. Ich kann Standardalgorithmen verwenden. Ziel ist es, Hadoop und nicht Bildverarbeitung zu lernen. Kann also jemand vorschlagen, in welcher Sprache ich C ++ oder Java und eine ...
Extrahieren von Zeilen mit bestimmten Werten mit mapReduce und hadoop
Ich bin neu in der Entwicklung der Kartenreduzierungsfunktion. Betrachte ich habe csv Datei mit vier Spaltendaten. Beispielsweise 101,87,65,67 102,43,45,40 103,23,56,34 104,65,55,40 105,87,96,40Now, ich möchte extrahieren sagen 40 102 40 104 ...
Pig: Ist es möglich, eine Schleife über Variablen in einer Liste zu schreiben?
Ich muss über 30 Variablen in einer Liste schleifen [var1,var2, ... , var30] und für jede Variable verwende ich etwas PIGgroup by Anweisung wie grouped = GROUP data by var1; data_var1 = FOREACH grouped{ GENERATE group as mygroup, COUNT(data) ...
Sqoop - Datenaufteilung
Sqoop kann mit @ Daten aus mehreren Tabellen importier--query -Klausel, aber nicht klar, ob es in der Lage ist, unter query zu importieren. Wählen Sie deptid, avg (Gehalt) aus emp group von deptid Eine andere Frage ist sqoop import --connect ...
Wie viele Partitionen erstellt Spark, wenn eine Datei aus dem S3-Bucket geladen wird?
Wenn die Datei standardmäßig aus HDFS geladen wird, erstellt spark eine Partition pro Block. Aber wie entscheidet der Funke über Partitionen, wenn eine Datei aus dem S3-Bucket geladen wird?
So serialisiere ich ein Objekt in Hadoop (in HDFS)
Ich habe eine HashMap <String, ArrayList <Integer>>. Ich möchte mein HashMap-Objekt (hmap) in einen HDFS-Speicherort serialisieren und es später in Mapper and Reducers deserialisieren, um es zu verwenden. Um mein HashMap-Objekt unter HDFS zu ...