Suchergebnisse für Anfrage "hadoop"
Hadoop partitioner
Ich möchte nach dem Hadoop-Partitionierer fragen. Ist er in Mappers implementiert? So messen Sie die Leistung der Verwendung des standardmäßigen Hash-Partitionierers: Gibt es einen besseren Partitionierer, um den Datenversatz zu ...
Was ist der Unterschied zwischen hbase und hive? (Hadoop)
ach meinem Verständnis ist Hbase die Hadoop-Datenbank und Hive das Data Warehous it @Hive können Tabellen erstellt und darin Daten gespeichert werden. Sie können auch Ihre vorhandenen HBase-Tabellen Hive zuordnen und auf diese zugreifen. Warum ...
Dateien rekursiv aus Unterverzeichnissen mit Funken aus s3 oder lokalem Dateisystem lesen
Ich versuche, Dateien aus einem Verzeichnis zu lesen, das viele Unterverzeichnisse enthält. Die Daten sind in S3 und ich versuche dies zu tun: val rdd ...
„Kein Dateisystem für Schema: gs“, wenn Spark-Job lokal ausgeführt wird
Ich führe einen Spark-Job aus (Version 1.2.0) und die Eingabe ist ein Ordner in einem Google Clous-Speicher-Bucket (d. H. Gs: // mybucket / folder). Wenn der Auftrag lokal auf meinem Mac ausgeführt wird, wird die folgende Fehlermeldung ...
Hadoop 2.6.0: Grundfehler beim Starten von MRAppMaster nach der Installation von
Ich habe gerade angefangen, mit Hadoop 2 zu arbeiten. Nach der Installation mit grundlegenden Konfigurationen habe ich immer keine Beispiele ausgeführt. Hat jemand dieses Problem gesehen und bitte helfen Sie mir? Und der Fehler ist so etwas ...
Zu viele Falkner holen
Ich habe ein Setup, 2 Knoten Hadoop Cluster auf Ubuntu 12.04 und Hadoop 1.2.1. Während ich versuche Hadoop Word Count zu starten, bekomme ich "Too many fetch faliure error ". Ich habe viele Artikel referenziert, kann aber nicht herausfinden, wie ...
Ressourcen / Dokumentation zur Funktionsweise des Failovers für den Spark-Treiber (und dessen YARN-Container) im Garn-Cluster-Modus
Ich versuche zu verstehen, ob der Spark-Treiber eine einzelne Fehlerquelle darstellt, wenn er im Cluster-Modus für Yarn bereitgestellt wird. Daher möchte ich die Innereien des Failover-Prozesses in Bezug auf den YARN-Container des Spark-Treibers ...
Wie kann ich von einer lokalen Hadoop 2.6-Installation auf S3 / S3n zugreifen?
Ich versuche, einen Amazon EMR-Cluster auf meinem lokalen Computer zu reproduzieren. Zu diesem Zweck habe ich das @ installie neueste stabile Version von Hadoop ab sofort - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Jetzt ...
Wie kann ich mit Apache Spark den exakten Median berechnen?
DiesSeit [https://spark.apache.org/docs/0.7.0/api/core/spark/api/java/JavaDoubleRDD.html] enthält einige Statistikfunktionen (Mittelwert, stdev, Varianz usw.), aber keinen Median. Wie kann ich den exakten Median berechnen? Vielen Dan
Wie kann ich vorab in hbase aufteilen
Ich speichere Daten in einer Datenbank mit 5 Regionsservern. Ich benutze MD5 Hash von URL als meine Zeilenschlüssel. Derzeit werden alle Daten nur auf einem Regionsserver gespeichert. Daher möchte ich die Regionen vorab aufteilen, damit die Daten ...