Suchergebnisse für Anfrage "hadoop"
Das Root-Scratch-Verzeichnis: / tmp / hive unter HDFS sollte beschreibbar sein. Aktuelle Berechtigungen sind: -wx ------
Ich habe die Berechtigung mit dem Befehl hdfs geändert. Trotzdem wird derselbe Fehler angezeigt. Das Root-Scratch-Verzeichnis: / tmp / hive unter HDFS sollte beschreibbar sein. Aktuelle Berechtigungen sind: -wx ------ Java Programm, das ich ...
NLineInputFormat funktioniert nicht in Spark
Was ich möchte, ist im Grunde, dass jedes Datenelement aus 10 Zeilen besteht. Mit dem folgenden Code besteht jedes Element jedoch noch aus einer Zeile. Welchen Fehler mache ich hier? val conf = new SparkConf().setAppName("MyApp") ...
Wie wird ein Reduzierer zum Senden von <Text, IntWritable> und ein Mapper zum Empfangen von <Text, IntWritable> festgelegt?
Ich entwickle Code für hadoop mitKarte verkleiner das benutztzwei Mapper und zwei Reduzierer. Ich wurde angewiesen, @ zu verwend SequenceFileInputFormat und SequenceFileOutputFormat, damit die Ausgabe des ersten Reduzierers und die Eingabe des ...
Wie kann die dynamische Selbstzuweisung von Ressourcen im Hadoop-Cluster unter "Garn" begrenzt werden?
In unserem Hadoop-Cluster, der unter Yarn ausgeführt wird, haben wir das Problem, dass einige "klügere" Leute in der Lage sind, erheblich größere Ressourcenmengen zu verbrauchen, indem sie Spark-Jobs in pySpark Jupyter-Notizbüchern konfigurieren ...
Wie wird Spark unter YARN für die Python-Speichernutzung ausgeführt?
Nachdem ich die Dokumentation gelesen habe, verstehe ich nicht, wie Spark auf YARN den Python-Speicherverbrauch berücksichtigt. Zählt es fürspark.executor.memory, spark.executor.memoryOverhead oder wo Insbesondere habe ich eine ...
Verbindung zum Remote-HBase-Dienst mit Java
Ich habe einen kleinen Beispielcode, in dem ich versuche, eine Verbindung zu einer entfernten HBase-Entität herzustellen. Der Code läuft auf einem Windows-Rechner ohne HBase und ich versuche eine Verbindung zu einem entfernten Ubuntu-Server ...
Was sind die Formate für Sequenzdateien und Parkettdateien in Hive?
Können Sie anhand eines Echtzeitbeispiels erklären, wo Sequenzdatei und Parkettdatei verwendet werden sollen?
Können HiveConf-Variablen aus einer Datei geladen werden? (Trennen Sie sich von der HiveQL-Datei)
Ich habe oft einen großen HiveQL-Block, den ich mehrmals mit unterschiedlichen Einstellungen für einige Variablen ausführen möchte. Ein einfaches Beispiel wäre: set mindate='2015-01-01 00:00:00' set maxdate='2015-04-01 00:00:00' select * from ...
Wie verwende ich Java-API, um einen Hbase-Shell-Befehl direkt wie jdbc zu senden?
Wie verwende ich Java-API zum Senden vonhbase Shell-Befehl direkt like jdbc? public static void main(String args[]) { // get Connection to connect hbase Connection conn = ....; // hbase shell command String cmd = "get 't1','r1'"; Statement stmt ...
Anhängen von Daten an eine vorhandene Parkettdatei
Ich verwende den folgenden Code, um ParquetWriter zu erstellen und Datensätze darauf zu schreiben. ParquetWriter<GenericRecord> parquetWriter = new ParquetWriter(path, writeSupport, CompressionCodecName.SNAPPY, BLOCK_SIZE, PAGE_SIZE); ...