Suchergebnisse für Anfrage "hadoop"
SparkR Job 100 Minuten Timeout
Ich habe ein etwas komplexes sparkR-Skript geschrieben und es mit spark-submit ausgeführt. Grundsätzlich wird eine große, auf Hive / Impala-Parkett basierende Tabelle zeilenweise gelesen und eine neue Parkettdatei mit der gleichen Anzahl von ...
Manupulieren Iterator in Mapreduce
Ich versuche, die Summe der angegebenen Punkte mithilfe von hadoop zu ermitteln. Das Problem besteht darin, alle Werte von einem bestimmten Schlüssel in einem einzelnen Reduzierer abzurufen. Es sieht aus wie das Reducer: public static class ...
Standardanzahl der Reduzierungen
Wenn wir in Hadoop nicht die Anzahl der Reduzierungen festgelegt haben, wie viele Reduzierungen werden dann erstellt? Die Anzahl der Mapper ist abhängig von (Gesamtdatengröße) / (Eingabe-Split-Größe), Z.B. Wenn die Datengröße 1 TB und die ...
Concat Avro-Dateien mit avro-tools
Im Versuch, Avro-Dateien in einer großen Datei zusammenzuführen, ist das Problemconcat Befehl akzeptiert den Platzhalter @ nic hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroIch bekomme Exception im Thread "main" ...
Spark Ausführung der TB-Datei im Speicher
Nehmen wir an, ich habe eine TB-Datei. Jeder Knotenspeicher in einem Cluster mit zehn Knoten umfasst 3 GB. Ich möchte die Datei mit spark verarbeiten. Aber wie passt der One TeraByte in den Speicher? Wird es eine Speicherausnahme ...
Verbinden Sie sich mit Impyla-Client mit Kerberos-Authentifizierung zu Impala
Ich bin auf einem W8-Computer, auf dem ich Python verwende Anakond Distribution) zum Verbinden mitImpal in unserer Hadoop Cluster mit dem Impyla package. Unser Hadoop-Cluster ist gesichert über Kerberos. Ich bin dem @ gefol API ...
MultipleOutputFormat in hadoop
Ich bin ein Neuling in Hadoop. Ich probiere das Wordcount-Programm aus. Jetzt, um mehrere Ausgabedateien auszuprobieren, verwende ichMultipleOutputFormat. Dieser Link hat mir dabei ...
Wie bekomme ich alle Tabellendefinitionen in einer Datenbank in Hive?
Ich suche nach allen Tabellendefinitionen in Hive. Ich weiß, dass ich für die Definition einer einzelnen Tabelle Folgendes verwenden kann: - describe <<table_name>> describe extended <<table_name>>Aber ich konnte keine Möglichkeit finden, alle ...
Query Hive Meta Store
Ich möchte wissen, wie die Hive-Metastore-Datenbank abgefragt und einige wichtige Eigenschaften abgerufen werden können, darunter: ErstellungsdatuDatum des letzten Updateletztes ZugriffsdatumIch habe gerade einen Hive-Befehl gelerntshow table ...
Wie man von .NET aus eine Verbindung zu Hadoop / Hive herstellt
Ich arbeite an einer Lösung, bei der ein Hadoop-Cluster mit Hive ausgeführt wird und ich Jobs und Hive-Abfragen aus einer .NET-Anwendung senden möchte, um sie zu verarbeiten und benachrichtigt zu werden, wenn sie abgeschlossen sind. Ich kann ...