Suchergebnisse für Anfrage "hadoop"
Wie ändere ich das Datumsformat im Hive?
Meine Tabelle in Hive hat ein Datum im Format '2016/06/01' abgelegt. aber ich finde, dass es nicht im Einklang mit dem Format von "2016-06-01" ist. Sie können zum Beispiel nicht vergleichen. Beide sind String. Also möchte ich wissen, wie man sie ...
Duplikate mit sqoop mit Oozie @ überwach
Ich habe ein sqoop-Pogramm erstellt, um Daten von MySQL nach HDFS mithilfe eines vorgefertigten sqoop-Jobs zu importieren: sqoop job -fs $driver_path -D mapreduce.map.java.opts=" -Duser.timezone=Europe/Paris"\ --create job_parquet_table -- ...
Erstellung des Spark-Clients fehlgeschlagen: Hive on Spark-Ausnahme
Ich habe meine Hive Execution Engine auf SPARK geändert. Wenn ich eine DML / DDL durchführe, erhalte ich die folgende Ausnahme. hive> select count(*) from tablename; Query ID = jibi_john_20160602153012_6ec1da36-dcb3-4f2f-a855-3b68be118b36 ...
Hadoop native Bibliotheken unter OS / X nicht gefunden
Ich habe heruntergeladenhadoop Quellcode von Github und kompiliert mit demnative Möglichkeit mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=trueIch habe dann das @ kopie.dylib -Dateien in $ HADOOP_HOME / lib cp ...
Was sollte beachtet werden, bevor man sich für hbase entscheidet?
ch bin sehr neu im Bereich Big Dat Wir haben einen Vorschlag vom Team erhalten, dass wir für eine hohe Leistung hbase anstelle von RDBMS verwenden sollten. Wir haben keine Ahnung, was berücksichtigt werden sollte / muss, bevor RDMS auf hbase ...
Import BLOB (Bild) vom Orakel zum Bienenstock
Ich versuche, BLOB (Image) -Daten aus Oracle mit dem folgenden Sqoop-Befehl in Hive zu importieren. sqoop import --connect jdbc:oracle:thin:@host --username --password --m 3 --table tablename --hive-drop-import-delims --hive-table tablename ...
Hive: Beste Möglichkeit, inkremetale Aktualisierungen für eine Haupttabelle durchzuführen
So habe ich eine Haupttabelle in Hive, in der alle meine Daten gespeichert werden. Ich möchte in der Lage sein, etwa jeden Monat ein inkrementelles Datenupdate mit einer großen Datenmenge von mehreren Milliarden Zeilen zu laden. Es wird ...
Einen sqoop-Job in einer bestimmten Warteschlange ausführen
Ich versuche ein @ zu erstellSqoop-Job wird in einer bestimmten Warteschlange ausgeführt aber es funktioniert nicht. Ich habe zwei Dinge ausprobiert: : Die Warteschlange in der Auftragserstellung deklarieren sqoop job \ --create myjob \ -- ...
Wie man Dateien im HDFS-Verzeichnis auflistet
Wie zähle ich Dateien im HDFS-Verzeichnis auf? Dies dient zum Auflisten von Dateien im Apache Spark-Cluster mit Scala. Ich sehe, dass es die Option sc.textfile () gibt, die aber auch den Inhalt liest. Ich möchte nur Dateinamen lesen. Ich habe ...
Merge Spark gibt CSV-Dateien mit einem einzelnen Header aus
Ich möchte eine Datenverarbeitungs-Pipeline in AWS erstellen, um die verarbeiteten Daten schließlich für maschinelles Lernen zu verwenden. Ich habe ein Scala-Skript, das Rohdaten aus S3 entnimmt, verarbeitet und mit @ in HDFS oder sogar S3 ...