Suchergebnisse für Anfrage "hive"

10 die antwort

Wie kann ich programmgesteuert in SparkSQL eine Verbindung zu einem Hive-Metastore herstellen?

Ich verwende HiveContext mit SparkSQL und versuche, eine Verbindung zu einem Remote-Hive-Metastore herzustellen. Die einzige Möglichkeit, den Hive-Metastore festzulegen, besteht darin, die Datei hive-site.xml in den Klassenpfad aufzunehmen (oder ...

6 die antwort

Hive Erstelle mehrere kleine Dateien für jede Einfügung in HDFS

folgend wurde bereits erreicht Kafka Producer ruft mit Spark Streaming Daten von Twitter ab.Kafka Consumer, der Daten in die externe Hive-Tabelle (in HDFS) aufnimmt.während dies soweit gut funktioniert. Es gibt nur ein Problem, mit dem ich ...

2 die antwort

Mein Hive-Client funktioniert nicht mehr mit der Cosmos-Instanz

Ich habe einen Hive-Client (in Java geschrieben), der mit der Global Instance of Cosmos von FIWARE Lab einwandfrei funktioniert. Es funktioniert jedoch nicht mehr, es scheint, dass der Client keine Verbindung herstellen kann (es tritt eine ...

TOP-Veröffentlichungen

4 die antwort

Hive FEHLGESCHLAGEN: ParseException-Zeile 2: 0 erkennt keine Eingabe in der Nähe von '' macaddress '' 'CHAR' '(' in der Spaltenspezifikation

Ich habe versucht zu laufenhive -v -f sqlfile.sql Hier ist der Inhalt der Datei CREATE TABLE UpStreamParam ( 'macaddress' CHAR(50), 'datats' BIGINT, 'cmtstimestamp' BIGINT, 'modulation' INT, 'chnlidx' INT, 'severity' BIGINT, 'rxpower' FLOAT, ...

2 die antwort

Wie kann ich mit Python Pyhs2 eine Verbindung zum Hive herstellen?

Ich versuche, mit @ auf hive zuzugreifepyhs2. Ich habe den folgenden Code ausprobiert: example.py import pyhs2 conn = pyhs2.connect(host='localhost', port=10000,authMechanism=None, user=None, password=None,database='default') ...

2 die antwort

Hive Join-Optimierung

Ich habe zwei Datensätze, die beide in einem S3-Bucket gespeichert sind, den ich in Hive verarbeiten und die Ausgabe in S3 zurückspeichern muss. Beispielzeilen aus den einzelnen Datasets lauten wie folgt: DataSet 1: ...

10 die antwort

Parkett vs ORC vs ORC mit Snappy

Ich teste die mit Hive verfügbaren Speicherformate und verwende Parkett und ORC als Hauptoptionen. Ich habe ORC einmal mit Standardkomprimierung und einmal mit Snappy eingeschlossen. Ich habe viele Dokumente gelesen, in denen festgestellt wird, ...

2 die antwort

Job Queue für Hive Action in oozie

Ich habe einen netten Workflow. Ich übermittle alle Hive-Aktionen mit <name>mapred.job.queue.name</name> <value>${queueName}</value>Aber für einige Hive-Aktionen befindet sich der gestartete Job nicht in der angegebenen Warteschlange. Es wird in ...

4 die antwort

Hive - Deaktivieren der Pivot-Funktionalität in hive

Ich habe zwei Tabelle wie folgt: Tabelle A userid | code | code_name | property_id 0001 | 1 | apple_id | Y1234 0031 | 4 | mango_id | G4567 0008 | 3 | grape_id | H1209 00013 | 2 | peach_id | Z5643Tabelle apple_id | mango_id | grape_id | ...

2 die antwort

Spark Datentyp guesser UDAF

Wollte so etwas nehmenhttps: //github.com/fitzscott/AirQuality/blob/master/HiveDataTypeGuesser.jav [https://github.com/fitzscott/AirQuality/blob/master/HiveDataTypeGuesser.java] und erstellen Sie eine Hive-UDAF, um eine Aggregatfunktion zu ...