Suchergebnisse für Anfrage "hadoop"

10 die antwort

Hadoop UI zeigt nur einen Datenknoten

Ich habe einen Hadoop-Cluster gestartet, der aus einem Master- und 4 Slave-Knoten besteht. Konfiguration scheint in Ordnung zu sein: hduser @ ubuntu-amd64: / usr / local / hadoop $ ./bin/hdfs dfsadmin ...

2 die antwort

Immer mehr physischer Speicher für eine Spark-Anwendung in YARN

Ich führe eine Spark-Anwendung in YARN mit zwei Executoren mit Xms / Xmx als 32 GB und spark.yarn.excutor.memoryOverhead als 6 GB aus. Ich sehe, dass der physische Speicher der Anwendung immer größer wird und schließlich vom Node Manager ...

2 die antwort

Unterstützt Spark Unterabfragen? [Duplikat

Diese Frage hat hier bereits eine Antwort: Unterstützt SparkSQL Unterabfragen? [/questions/33933118/does-sparksql-support-subquery] 2 AntwortenWenn ich diese Abfrage starte, erhalte ich diese Art von Fehler select * from raw_2 where ip NOT IN ...

TOP-Veröffentlichungen

4 die antwort

Apache Hive MSCK REPAIR TABLE neue Partition nicht hinzugefügt

Ich bin neu bei Apache Hive. Wenn ich bei der Arbeit an einer externen Tabellenpartition eine neue Partition direkt zu HDFS hinzufüge, wird die neue Partition nach dem Ausführen der MSCK REPAIR-Tabelle nicht hinzugefügt. Unten sind die Codes, die ...

6 die antwort

Hive Gläser dauerhaft hinzufügen

Gibt es eine Möglichkeit, Bienenstockgläser dauerhaft hinzuzufügen, anstatt sie auf Sitzungsebene in der Bienenstock-Shell hinzuzufügen? Jede Hilfe wäre dankbar

2 die antwort

Wie richte ich Hadoop in Docker Swarm ein?

Ich möchte in der Lage sein, einen Hadoop-Cluster in Docker zu starten und die Hadoop-Knoten mit @ auf die verschiedenen physischen Knoten zu verteileSchwar [https://docs.docker.com/engine/swarm/]. Ich habe das sequenceiq-Image gefunden, mit ...

4 die antwort

Ist es möglich, einen MapReduce-Job am Zugriff auf entfernte Daten zu hindern?

Wir haben einen bestimmten Algorithmus, den wir in HDFS integrieren möchten. Der Algorithmus verlangt, dass wir lokal auf Daten zugreifen (die Arbeit würde ausschließlich im @ erledigt werdenMapper). Wir möchten jedoch die Vorteile von HDFS bei ...

18 die antwort

Kann Apache Spark ohne Hadoop ausgeführt werden?

Gibt es Abhängigkeiten zwischenFunk und Hadoop? Wenn nicht, gibt es irgendwelche Funktionen, die ich vermissen werde, wenn ich laufeFunk ohne Hadoop?

10 die antwort

Wie kann ich programmgesteuert in SparkSQL eine Verbindung zu einem Hive-Metastore herstellen?

Ich verwende HiveContext mit SparkSQL und versuche, eine Verbindung zu einem Remote-Hive-Metastore herzustellen. Die einzige Möglichkeit, den Hive-Metastore festzulegen, besteht darin, die Datei hive-site.xml in den Klassenpfad aufzunehmen (oder ...

14 die antwort

So exportieren Sie Daten von Spark SQL nach CSV

Dieser Befehl funktioniert mit HiveQL: insert overwrite directory '/data/home.csv' select * from testtable;Aber mit Spark SQL erhalte ich einen Fehler mit einemorg.apache.spark.sql.hive.HiveQl Stack-Trace: java.lang.RuntimeException: ...