Suchergebnisse für Anfrage "hive"
Hive 1.1.0 Ändern des Tabellenpartitionstyps von int in string
Ich habe eine Tabelle mit einer Partition vom Typ int, die ich aber in einen String konvertieren möchte. Allerdings kann ich nicht herausfinden, wie das geht. Die Tabellenbeschreibung lautet: Col1 timestamp Col2 string Col3 string Col4 string ...
PySpark: Ein SchemaRDD einem SchemaRDD zuordnen
Ich lade eine Datei mit JSON-Objekten als PySparkSchemaRDD. Ich möchte die "Form" der Objekte ändern (im Grunde genommen reduziere ich sie) und dann in eine Hive-Tabelle einfügen. Das Problem, das ich habe, ist, dass das folgende ein @ ...
Hadoop / Hive Collect_list ohne Wiederholung von Elementen
Auf der Grundlage der Post,Hive 0.12 - Collect_list [https://stackoverflow.com/questions/6445339/collect-set-in-hive-keep-duplicates] , Ich versuche, Java-Code zu finden, um eine UDAF-Datei zu implementieren, die diese oder ähnliche Funktionen ...
Speichern Spark-Datenframe als dynamisch partitionierte Tabelle in Hive
Ich habe eine Beispielanwendung, die arbeitet, um aus CSV-Dateien in einen Datenrahmen zu lesen. Der Datenrahmen kann mit der Methode @ im Parkettformat in einer Hive-Tabelle gespeichert werdedf.saveAsTable(tablename,mode). Der obige Code ...
Process Spark Streaming rdd und Speichern in eine einzelne HDFS-Datei
Ich verwende Kafka Spark Streaming, um Streaming-Daten abzurufen. val lines = KafkaUtils.createDirectStream[Array[Byte], String, DefaultDecoder, StringDecoder](ssc, kafkaConf, Set(topic)).map(_._2)Ich benutze diesen DStream und verarbeite ...
Hive UDF für die Auswahl aller bis auf einige Spalten
Das gängige Muster für die Abfrageerstellung in HiveQL (und in SQL im Allgemeinen) besteht darin, entweder alle Spalten auszuwählen SELECT *) oder ein explizit angegebener Satz von Spalten SELECT A, B, C). In SQL ist kein Mechanismus zum ...
Hives unix_timestamp und from_unixtime Funktionen
Ich habe den Eindruck, dass unix_timestamp und from_unixtime Hive-Funktionen sind gegensätzlich. Wenn ich versuche, einen Zeitstempel in Sekunden umzuwandeln: SELECT unix_timestamp('10-Jun-15 10.00.00.000000 AM', 'dd-MMM-yy hh.mm.ss.MS a'); Ich ...
Apache Hive MSCK REPAIR TABLE neue Partition nicht hinzugefügt
Ich bin neu bei Apache Hive. Wenn ich bei der Arbeit an einer externen Tabellenpartition eine neue Partition direkt zu HDFS hinzufüge, wird die neue Partition nach dem Ausführen der MSCK REPAIR-Tabelle nicht hinzugefügt. Unten sind die Codes, die ...
Unterstützt Spark Unterabfragen? [Duplikat
Diese Frage hat hier bereits eine Antwort: Unterstützt SparkSQL Unterabfragen? [/questions/33933118/does-sparksql-support-subquery] 2 AntwortenWenn ich diese Abfrage starte, erhalte ich diese Art von Fehler select * from raw_2 where ip NOT IN ...
Hive Gläser dauerhaft hinzufügen
Gibt es eine Möglichkeit, Bienenstockgläser dauerhaft hinzuzufügen, anstatt sie auf Sitzungsebene in der Bienenstock-Shell hinzuzufügen? Jede Hilfe wäre dankbar