Suchergebnisse für Anfrage "hadoop"
Hadoop UI zeigt nur einen Datenknoten
Ich habe einen Hadoop-Cluster gestartet, der aus einem Master- und 4 Slave-Knoten besteht. Konfiguration scheint in Ordnung zu sein: hduser @ ubuntu-amd64: / usr / local / hadoop $ ./bin/hdfs dfsadmin ...
Immer mehr physischer Speicher für eine Spark-Anwendung in YARN
Ich führe eine Spark-Anwendung in YARN mit zwei Executoren mit Xms / Xmx als 32 GB und spark.yarn.excutor.memoryOverhead als 6 GB aus. Ich sehe, dass der physische Speicher der Anwendung immer größer wird und schließlich vom Node Manager ...
Unterstützt Spark Unterabfragen? [Duplikat
Diese Frage hat hier bereits eine Antwort: Unterstützt SparkSQL Unterabfragen? [/questions/33933118/does-sparksql-support-subquery] 2 AntwortenWenn ich diese Abfrage starte, erhalte ich diese Art von Fehler select * from raw_2 where ip NOT IN ...
Apache Hive MSCK REPAIR TABLE neue Partition nicht hinzugefügt
Ich bin neu bei Apache Hive. Wenn ich bei der Arbeit an einer externen Tabellenpartition eine neue Partition direkt zu HDFS hinzufüge, wird die neue Partition nach dem Ausführen der MSCK REPAIR-Tabelle nicht hinzugefügt. Unten sind die Codes, die ...
Hive Gläser dauerhaft hinzufügen
Gibt es eine Möglichkeit, Bienenstockgläser dauerhaft hinzuzufügen, anstatt sie auf Sitzungsebene in der Bienenstock-Shell hinzuzufügen? Jede Hilfe wäre dankbar
Wie richte ich Hadoop in Docker Swarm ein?
Ich möchte in der Lage sein, einen Hadoop-Cluster in Docker zu starten und die Hadoop-Knoten mit @ auf die verschiedenen physischen Knoten zu verteileSchwar [https://docs.docker.com/engine/swarm/]. Ich habe das sequenceiq-Image gefunden, mit ...
Ist es möglich, einen MapReduce-Job am Zugriff auf entfernte Daten zu hindern?
Wir haben einen bestimmten Algorithmus, den wir in HDFS integrieren möchten. Der Algorithmus verlangt, dass wir lokal auf Daten zugreifen (die Arbeit würde ausschließlich im @ erledigt werdenMapper). Wir möchten jedoch die Vorteile von HDFS bei ...
Kann Apache Spark ohne Hadoop ausgeführt werden?
Gibt es Abhängigkeiten zwischenFunk und Hadoop? Wenn nicht, gibt es irgendwelche Funktionen, die ich vermissen werde, wenn ich laufeFunk ohne Hadoop?
Wie kann ich programmgesteuert in SparkSQL eine Verbindung zu einem Hive-Metastore herstellen?
Ich verwende HiveContext mit SparkSQL und versuche, eine Verbindung zu einem Remote-Hive-Metastore herzustellen. Die einzige Möglichkeit, den Hive-Metastore festzulegen, besteht darin, die Datei hive-site.xml in den Klassenpfad aufzunehmen (oder ...
So exportieren Sie Daten von Spark SQL nach CSV
Dieser Befehl funktioniert mit HiveQL: insert overwrite directory '/data/home.csv' select * from testtable;Aber mit Spark SQL erhalte ich einen Fehler mit einemorg.apache.spark.sql.hive.HiveQl Stack-Trace: java.lang.RuntimeException: ...