Suchergebnisse für Anfrage "hadoop"
Wie werden die YARN-Protokolldateien aufbewahrt?
Plötzlich funktioniert mein YARN-Cluster nicht mehr. Alles, was ich einreiche, schlägt mit "Beendigungscode 1" fehl. Ich möchte dieses Problem aufspüren, aber sobald eine Anwendung fehlgeschlagen ist, löscht YARN die Protokolldateien. Welche ...
Wo befindet sich der Syntaxfehler bei dieser einfachen Hive-Abfrage mit STRUCT?
Importieren wir eine einfache Tabelle in Hive: hive> CREATE EXTERNAL TABLE tweets (id BIGINT, id_str STRING, user STRUCT<id:BIGINT, screen_name:STRING>) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.JsonSerde' LOCATION ...
Hadoop - Erforderliche Hilfe zum Verständnis der Verarbeitungsschritte
Ich habe eine komprimierte Datei und sie enthält 8 XML-Dateien mit einer Größe von 5 bis 10 KB. Ich habe diese Daten zu Testzwecken verwendet. Ich habe nur ein Map-Programm geschrieben, um die komprimierte Datei zu dekomprimieren. ...
Hive: Umwandlung von Array <string> in Array <int> in Abfrage
Ich habe zwei Tabellen: create table a ( `1` array<string>); create table b ( `1` array<int>);und ich möchte die Tabelle a in Tabelle b einfügen (Tabelle b ist leer): insert into table b select * from a;wenn ich das tue, erhalte ich den ...
Kann ich eine HDFS- (oder lokale) Nur-Text-Datei aus einem Spark-Programm schreiben, nicht aus einem RDD?
Ich habe ein Spark-Programm (in Scala) und einSparkContext. Ich schreibe einige Dateien mitRDD 'ssaveAsTextFile. Auf meinem lokalen Computer kann ich einen lokalen Dateipfad verwenden und er funktioniert mit dem lokalen Dateisystem. In meinem ...
Spark NullPointerException mit saveAsTextFile
Ich erhalte eine NPE, wenn ich versuche, eine RDD zusammenzuführen und zu speichern. Code arbeitet lokal,un funktioniert auf dem Cluster in der Scala-Shell, löst jedoch den Fehler aus, wenn es als Job an den Cluster gesendet wird. Ich habe ...
Wie mache ich Partitionen in Unterverzeichnissen in Hive
Ich habe Verzeichnisstruktur wie unten in meinem Hadoop, `/hadoop/maindirec/subdirect1/file1 /hadoop/maindirec/subdirect1/file2 /hadoop/maindirec/subdirect2/file1 /hadoop/maindirec/subdirect2/file2 /hadoop/maindirec/subdirect3/file1 ...
Wie werden Container in MapReduce2 basierend auf VCores und Speicher erstellt?
Ich habe einen winzigen Cluster bestehend aus 1 Master (Name, Sekundärname, Ressourcemanager) und 2 Slaves (Datanode, Nodemanager). Ich habe in der yarn-site.xml des Masters eingestellt: yarn.scheduler.minimum-allocation-mb: ...
Primärschlüssel mit Apache Spark
Ich habe eine JDBC-Verbindung mit Apache Spark und PostgreSQL und möchte einige Daten in meine Datenbank einfügen. Wenn ich @ benutappend mode Ich muss @ angebid für jedesDataFrame.Row. Gibt es eine Möglichkeit für Spark, Primärschlüssel zu ...
Der Typ HTable (config, tablename) ist veraltet. Was nützt es stattdessen?
Was kann ich anstelle von @ verwendHTable(config,tablename)? Diese Methode ist veraltet. In jedem Beispiel konnte ich feststellen, dass sie diesen oder einen anderen Konstruktor verwenden, der ebenfalls veraltet ist.