Suchergebnisse für Anfrage "hadoop"
Spark + Scala-Transformationen, Unveränderlichkeit und Overheads beim Speicherverbrauch
Ich habe in Youtube einige Videos zu @ durchgeseheFunk [https://www.youtube.com/watch?v=65aV15uDKgA] die Architektur uch wenn eine langsame Auswertung, die Ausfallsicherheit der Datenerstellung im Fehlerfall und gute funktionale ...
java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient kann nicht instanziiert werden
Ich habe Hadoop 2.7.1 und Apache-Hive-1.2.1 Versionen auf Ubuntu 14.0 installiert. Warum tritt dieser Fehler auf?Ist eine Metastore-Installation erforderlich?Wenn wir den Befehl hive auf dem Terminal eingeben, wie heißt die XML-Datei intern? Ist ...
Wie füge ich eine typsichere Konfigurationsdatei hinzu, die sich auf HDFS befindet, um einen Spark-Submit (Cluster-Modus) durchzuführen?
Ich habe eine Spark-Anwendung (Spark 1.5.2), die Daten von Kafka an HDFS überträgt. Meine Anwendung enthält zwei Typesafe-Konfigurationsdateien, um bestimmte Dinge wie Kafka-Themen usw. zu konfigurieren. Jetzt möchte ich meine Anwendung mit ...
Mehrere Dateien in einer in Hadoop @ zusammenführ
Ich bekomme mehrere kleine Dateien in mein Eingabeverzeichnis, die ich zu einer einzigen Datei zusammenführen möchte, ohne das lokale Dateisystem zu verwenden oder MapReds zu schreiben. Gibt es eine Möglichkeit, wie ich es mit hadoof fs-Befehlen ...
Wie man Mongodb gruppiert - mapReduce Ausgabe?
Ich habe eine Abfrage in Bezug auf das MapReduce-Framework in Mongodb, also habe ich ein Ergebnis des Schlüsselwertpaars aus der MapReduce-Funktion. Jetzt möchte ich die Abfrage für diese Ausgabe von MapReduce ausführen. So verwende ich ...
In CSV-Datei als Datenframe von hdfs lesen
Ich benutze pydoop, um eine Datei von hdfs einzulesen, und wenn ich benutze: import pydoop.hdfs as hd with hd.open("/home/file.csv") as f: print f.read() Es zeigt mir die Datei in stdout. Gibt es eine Möglichkeit, diese Datei als Datenframe ...
Hive-Installationsprobleme: Die Hive-Metastore-Datenbank ist nicht initialisiert.
Ich habe versucht, Hive auf einem Himbeer-Pi 2 zu installieren. Ich habe Hive durch Dekomprimieren des gezippten Hive-Pakets installiert und $ HADOOP_HOME und $ HIVE_HOME manuell unter der von mir erstellten Benutzergruppe hduser konfiguriert. ...
Spark: Überprüfen Sie Ihre Cluster-Benutzeroberfläche, um sicherzustellen, dass Mitarbeiter registriert sind.
Ich habe ein einfaches Programm in Spark: /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val conf = ...
Wie kann ich Hadoop mit einer Java-Klasse ausführen?
Ich verfolge das Buch Hadoop: der endgültige Leitfaden [http://shop.oreilly.com/product/9780596521981.do]. Ich bin verwirrt über Beispiel 3-1. Es gibt eine Java-Quelldatei, URLCat.java. Ich benutzejavac um es in URLCat.class zu kompilieren, ...
Spark-Ausnahme: Task beim Schreiben von Zeilen fehlgeschlagen
Ich lese Textdateien und konvertiere sie in Parkettdateien. Ich mache es mit Spark-Code. Aber wenn ich versuche, den Code auszuführen, erhalte ich folgende Ausnahme org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 ...