Suchergebnisse für Anfrage "hadoop"

2 die antwort

Wie kann ich mit Python Pyhs2 eine Verbindung zum Hive herstellen?

Ich versuche, mit @ auf hive zuzugreifepyhs2. Ich habe den folgenden Code ausprobiert: example.py import pyhs2 conn = pyhs2.connect(host='localhost', port=10000,authMechanism=None, user=None, password=None,database='default') ...

8 die antwort

getting JAVA_HOME ist bei hadoop falsch eingestellt

Ich habe gerade Hadoop heruntergeladen und die Datei entpackt. Wenn ich den Befehl hadoop version über die Eingabeaufforderung ausführe, wird der folgende Fehler angezeigt. Ich überprüfe es noch einmal und JAVA_HOME ist auf "C: \ Programme \ Java ...

4 die antwort

Verbinden mit S3-Daten von PySpark

Ich versuche, eine JSON-Datei von Amazon S3 zu lesen, um einen Spark-Kontext zu erstellen und zur Verarbeitung der Daten zu verwenden. Spark befindet sich im Grunde genommen in einem Docker-Container. Das Ablegen von Dateien im Docker-Pfad ist ...

TOP-Veröffentlichungen

2 die antwort

So übergeben Sie Jar-Dateien an das Shell-Skript im OOZIE-Shell-Knoten

Hi Beim Ausführen eines Java-Programms in einem Skript, das im Oozie Shell Action-Workflow ausgeführt wird, tritt der folgende Fehler auf. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread ...

2 die antwort

verteilter Cache

Ich arbeite mit Hadoop 19 unter OpenSuse Linux. Ich verwende keinen Cluster, sondern starte meinen Hadoop-Code auf meinem Computer. Ich folge der Standardtechnik beim Einfügen in den verteilten Cache, aber anstatt immer wieder auf die Dateien aus ...

4 die antwort

Permission Denied Fehler beim Erstellen der Datenbank in Hive

Ich versuche eine Datenbank in Hive zu erstellen, aber wenn ich die folgende Abfrage in HIVE ausführe: CREATE DATABASE BIGDATA;Ich erhalte die folgende Fehlermeldung: FAILED: Fehler in Metadaten: MetaException (Meldung: Erhaltene ...

2 die antwort

Fehlerbehandlung in der Hadoop-Karte reduzieren

Basierend auf der Dokumentation gibt es ein paar Möglichkeiten, wie die Fehlerbehandlung in Map Reduce durchgeführt wird. Unten sind die wenigen: ein. Benutzerdefinierte Zähler mit Aufzählungsinkrement für jeden fehlgeschlagenen Datensatz. b. ...

2 die antwort

Verbindung mit Azure Blob-Speicher mit lokalem Hadoop nicht möglich

Während des Verbindungsaufbaus zumlocal hadoop mit demAZURBLA KLECK storage (dh mit demblob Speicher als HDFS) mit Hadoop Version - 2.7.1 löst es eine Ausnahme aus Hier habe ich den lokalen Cluster durch Setzen der Eigenschaft @ ...

2 die antwort

Hive Join-Optimierung

Ich habe zwei Datensätze, die beide in einem S3-Bucket gespeichert sind, den ich in Hive verarbeiten und die Ausgabe in S3 zurückspeichern muss. Beispielzeilen aus den einzelnen Datasets lauten wie folgt: DataSet 1: ...

10 die antwort

Parkett vs ORC vs ORC mit Snappy

Ich teste die mit Hive verfügbaren Speicherformate und verwende Parkett und ORC als Hauptoptionen. Ich habe ORC einmal mit Standardkomprimierung und einmal mit Snappy eingeschlossen. Ich habe viele Dokumente gelesen, in denen festgestellt wird, ...