Suchergebnisse für Anfrage "hadoop"
Wie kann ich mit Python Pyhs2 eine Verbindung zum Hive herstellen?
Ich versuche, mit @ auf hive zuzugreifepyhs2. Ich habe den folgenden Code ausprobiert: example.py import pyhs2 conn = pyhs2.connect(host='localhost', port=10000,authMechanism=None, user=None, password=None,database='default') ...
getting JAVA_HOME ist bei hadoop falsch eingestellt
Ich habe gerade Hadoop heruntergeladen und die Datei entpackt. Wenn ich den Befehl hadoop version über die Eingabeaufforderung ausführe, wird der folgende Fehler angezeigt. Ich überprüfe es noch einmal und JAVA_HOME ist auf "C: \ Programme \ Java ...
Verbinden mit S3-Daten von PySpark
Ich versuche, eine JSON-Datei von Amazon S3 zu lesen, um einen Spark-Kontext zu erstellen und zur Verarbeitung der Daten zu verwenden. Spark befindet sich im Grunde genommen in einem Docker-Container. Das Ablegen von Dateien im Docker-Pfad ist ...
So übergeben Sie Jar-Dateien an das Shell-Skript im OOZIE-Shell-Knoten
Hi Beim Ausführen eines Java-Programms in einem Skript, das im Oozie Shell Action-Workflow ausgeführt wird, tritt der folgende Fehler auf. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread ...
verteilter Cache
Ich arbeite mit Hadoop 19 unter OpenSuse Linux. Ich verwende keinen Cluster, sondern starte meinen Hadoop-Code auf meinem Computer. Ich folge der Standardtechnik beim Einfügen in den verteilten Cache, aber anstatt immer wieder auf die Dateien aus ...
Permission Denied Fehler beim Erstellen der Datenbank in Hive
Ich versuche eine Datenbank in Hive zu erstellen, aber wenn ich die folgende Abfrage in HIVE ausführe: CREATE DATABASE BIGDATA;Ich erhalte die folgende Fehlermeldung: FAILED: Fehler in Metadaten: MetaException (Meldung: Erhaltene ...
Fehlerbehandlung in der Hadoop-Karte reduzieren
Basierend auf der Dokumentation gibt es ein paar Möglichkeiten, wie die Fehlerbehandlung in Map Reduce durchgeführt wird. Unten sind die wenigen: ein. Benutzerdefinierte Zähler mit Aufzählungsinkrement für jeden fehlgeschlagenen Datensatz. b. ...
Verbindung mit Azure Blob-Speicher mit lokalem Hadoop nicht möglich
Während des Verbindungsaufbaus zumlocal hadoop mit demAZURBLA KLECK storage (dh mit demblob Speicher als HDFS) mit Hadoop Version - 2.7.1 löst es eine Ausnahme aus Hier habe ich den lokalen Cluster durch Setzen der Eigenschaft @ ...
Hive Join-Optimierung
Ich habe zwei Datensätze, die beide in einem S3-Bucket gespeichert sind, den ich in Hive verarbeiten und die Ausgabe in S3 zurückspeichern muss. Beispielzeilen aus den einzelnen Datasets lauten wie folgt: DataSet 1: ...
Parkett vs ORC vs ORC mit Snappy
Ich teste die mit Hive verfügbaren Speicherformate und verwende Parkett und ORC als Hauptoptionen. Ich habe ORC einmal mit Standardkomprimierung und einmal mit Snappy eingeschlossen. Ich habe viele Dokumente gelesen, in denen festgestellt wird, ...