Suchergebnisse für Anfrage "hive"
Wie kann ich programmgesteuert in SparkSQL eine Verbindung zu einem Hive-Metastore herstellen?
Ich verwende HiveContext mit SparkSQL und versuche, eine Verbindung zu einem Remote-Hive-Metastore herzustellen. Die einzige Möglichkeit, den Hive-Metastore festzulegen, besteht darin, die Datei hive-site.xml in den Klassenpfad aufzunehmen (oder ...
Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS
folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...
Mein Hive-Client funktioniert nicht mehr mit der Cosmos-Instanz
Ich habe einen Hive-Client (in Java geschrieben), der mit der Global Instance of Cosmos von FIWARE Lab einwandfrei funktioniert. Es funktioniert jedoch nicht mehr, es scheint, dass der Client keine Verbindung herstellen kann (es tritt eine ...
Hive FEHLGESCHLAGEN: ParseException-Zeile 2: 0 erkennt keine Eingabe in der Nähe von '' macaddress '' 'CHAR' '(' in der Spaltenspezifikation
Ich habe versucht zu laufenhive -v -f sqlfile.sql Hier ist der Inhalt der Datei CREATE TABLE UpStreamParam ( 'macaddress' CHAR(50), 'datats' BIGINT, 'cmtstimestamp' BIGINT, 'modulation' INT, 'chnlidx' INT, 'severity' BIGINT, 'rxpower' FLOAT, ...
Wie kann ich mit Python Pyhs2 eine Verbindung zum Hive herstellen?
Ich versuche, mit @ auf hive zuzugreifepyhs2. Ich habe den folgenden Code ausprobiert: example.py import pyhs2 conn = pyhs2.connect(host='localhost', port=10000,authMechanism=None, user=None, password=None,database='default') ...
Hive Join-Optimierung
Ich habe zwei Datensätze, die beide in einem S3-Bucket gespeichert sind, den ich in Hive verarbeiten und die Ausgabe in S3 zurückspeichern muss. Beispielzeilen aus den einzelnen Datasets lauten wie folgt: DataSet 1: ...
Parkett vs ORC vs ORC mit Snappy
Ich teste die mit Hive verfügbaren Speicherformate und verwende Parkett und ORC als Hauptoptionen. Ich habe ORC einmal mit Standardkomprimierung und einmal mit Snappy eingeschlossen. Ich habe viele Dokumente gelesen, in denen festgestellt wird, ...
Job Queue für Hive Action in oozie
Ich habe einen netten Workflow. Ich übermittle alle Hive-Aktionen mit <name>mapred.job.queue.name</name> <value>${queueName}</value>Aber für einige Hive-Aktionen befindet sich der gestartete Job nicht in der angegebenen Warteschlange. Es wird in ...
Hive - Deaktivieren der Pivot-Funktionalität in hive
Ich habe zwei Tabelle wie folgt: Tabelle A userid | code | code_name | property_id 0001 | 1 | apple_id | Y1234 0031 | 4 | mango_id | G4567 0008 | 3 | grape_id | H1209 00013 | 2 | peach_id | Z5643Tabelle apple_id | mango_id | grape_id | ...
Spark Datentyp guesser UDAF
Wollte so etwas nehmenhttps: //github.com/fitzscott/AirQuality/blob/master/HiveDataTypeGuesser.jav [https://github.com/fitzscott/AirQuality/blob/master/HiveDataTypeGuesser.java] und erstellen Sie eine Hive-UDAF, um eine Aggregatfunktion zu ...