Suchergebnisse für Anfrage "hadoop"
Get Dateien, die in den letzten 5 Minuten in Hadoop mit Shell-Skript erstellt wurden
Ich habe Dateien in HDFS als: drwxrwx--- - root supergroup 0 2016-08-19 06:21 /tmp/logs/root/logs/application_1464962104018_1639064 drwxrwx--- - root supergroup 0 2016-08-19 ...
Spark 2.0 - "Tabelle oder Ansicht nicht gefunden" beim Abfragen von Hive [closed]
Wenn Hive über @ abgefragt wispark-shell 2.0: spark.sql("SELECT * FROM schemaname.tablename")It löst einen Fehler aus: 16/08/13 09:24:17 INFO execution.SparkSqlParser: Parsing command: SELECT * FROM schemaname.tablename ...
So optimieren Sie den Scan von 1 großen Datei / Tabelle in Hive, um zu überprüfen, ob ein langer Punkt in einer Geometrieform enthalten ist
Ich versuche derzeit, jeden lat long Ping von einem Gerät mit seiner Postleitzahl zu verknüpfen. Ich habe Geräte-Ping-Daten für lange Zeiträume normalisiert und eine produktübergreifende / kartesische Produktverknüpfungstabelle erstellt, in ...
Wie verwende ich Java-API, um einen Hbase-Shell-Befehl direkt wie jdbc zu senden?
Wie verwende ich Java-API zum Senden vonhbase Shell-Befehl direkt like jdbc? public static void main(String args[]) { // get Connection to connect hbase Connection conn = ....; // hbase shell command String cmd = "get 't1','r1'"; Statement stmt ...
Anhängen von Daten an eine vorhandene Parkettdatei
Ich verwende den folgenden Code, um ParquetWriter zu erstellen und Datensätze darauf zu schreiben. ParquetWriter<GenericRecord> parquetWriter = new ParquetWriter(path, writeSupport, CompressionCodecName.SNAPPY, BLOCK_SIZE, PAGE_SIZE); ...
Können HiveConf-Variablen aus einer Datei geladen werden? (Trennen Sie sich von der HiveQL-Datei)
Ich habe oft einen großen HiveQL-Block, den ich mehrmals mit unterschiedlichen Einstellungen für einige Variablen ausführen möchte. Ein einfaches Beispiel wäre: set mindate='2015-01-01 00:00:00' set maxdate='2015-04-01 00:00:00' select * from ...
Was sind die Formate für Sequenzdateien und Parkettdateien in Hive?
Können Sie anhand eines Echtzeitbeispiels erklären, wo Sequenzdatei und Parkettdatei verwendet werden sollen?
Wie kann die dynamische Selbstzuweisung von Ressourcen im Hadoop-Cluster unter "Garn" begrenzt werden?
In unserem Hadoop-Cluster, der unter Yarn ausgeführt wird, haben wir das Problem, dass einige "klügere" Leute in der Lage sind, erheblich größere Ressourcenmengen zu verbrauchen, indem sie Spark-Jobs in pySpark Jupyter-Notizbüchern konfigurieren ...
Wie wird Spark unter YARN für die Python-Speichernutzung ausgeführt?
Nachdem ich die Dokumentation gelesen habe, verstehe ich nicht, wie Spark auf YARN den Python-Speicherverbrauch berücksichtigt. Zählt es fürspark.executor.memory, spark.executor.memoryOverhead oder wo Insbesondere habe ich eine ...
Verbindung zum Remote-HBase-Dienst mit Java
Ich habe einen kleinen Beispielcode, in dem ich versuche, eine Verbindung zu einer entfernten HBase-Entität herzustellen. Der Code läuft auf einem Windows-Rechner ohne HBase und ich versuche eine Verbindung zu einem entfernten Ubuntu-Server ...