Suchergebnisse für Anfrage "hadoop"
Wie kann ich .zip-Dateien über Spark öffnen / streamen?
Ich habe zip-Dateien, die ich über Spark öffnen möchte. Ich kann .gzip-Dateien ohne Probleme öffnen, da Hadoops nativen Codec unterstützt. Mit .zip-Dateien ist dies jedoch nicht möglich. Gibt es eine einfache Möglichkeit, eine Zip-Datei in ...
Wie füge ich ein externes Glas zu hadoop job hinzu?
Ich habe einen Hadoop-Job, bei dem der Mapper eine externe JAR-Datei verwenden muss. Ich habe versucht, dieses Glas an die JVM des Mapper weiterzuleiten. über das Argument -libjars im Befehl hadoop hadoop jar mrrunner.jar DAGMRRunner ...
Loop durch HDFS-Verzeichnisse
Meine HDFS-Verzeichnisstruktur sieht wie folgt aus. / user / hive / warehouse / check.db / abcd / date = 2015-02-02 / xyz = hijk / 000000_0 /user/hive/warehouse/check.db/abcd/date=2015-02-02/xyz= pqrs / 000000_0 Ich versuche, alle ...
Der Knoten / die Datenbank befindet sich nicht in ZooKeeper
Ich bin ein Neuling in Hadoop, der versucht, Hbase im pseudoverteilten Modus, Version hbase-0.98.10.1-hadoop1-bin, mit Hadoop 2.5.2 zu installieren. Ich kann keine Tabelle hinzufügen. Folgender Fehler wird fortgesetzt, wenn ich versuche, eine ...
Hadoop-Cluster-Setup - java.net.ConnectException: Verbindung abgelehnt
Ich möchte einen Hadoop-Cluster im pseudoverteilten Modus einrichten. Es gelang mir, alle Einrichtungsschritte durchzuführen, einschließlich des Startens eines Namenode, Datanode, Jobtrackers und eines Tasktrackers auf meinem Computer. Dann ...
Connect Hive über Java JDBC
Es gibt eine Frage hier Verbindung von Java nach Hive [https://stackoverflow.com/questions/25157273/connect-from-java-to-hive-using-jdbc] aber meins istander Meine Struktur läuft auf Maschine1 und ich muss einige Abfragen mit Java-Server auf ...
Apache Hive-Fehler Zusammenführen von Anmeldeinformationen, die in dieser Version von hadoop @ nicht unterstützt werd
Ich verwende Hadoop 1.2.1, HBase 0.94.14 und Hive 1.0.0. In meinem Computer befinden sich drei Datenknoten und drei Regionserver. Ich muss einige Daten von hbase nach hive importieren. Ich habe Hive erfolgreich konfiguriert, aber als ich einen ...
Wie bestimme ich die Größe meiner HBase - Tabellen? Gibt es einen Befehl dazu?
Ich habe mehrere Tabellen in meiner Hbase-Shell, die ich auf mein Dateisystem kopieren möchte. Einige Tabellen überschreiten 100 GB. Ich habe jedoch nur noch 55 GB freien Speicherplatz in meinem lokalen Dateisystem. Daher möchte ich die Größe ...
Apache Oozie konnte ShareLib nicht laden
Ich habe die folgende oozie.log: org.apache.oozie.service.ServiceException: E0104: Could not fully initialize service [org.apache.oozie.service.ShareLibService], Not able to cache sharelib. An Admin needs to install the sharelib with ...
Verwenden von Pyspark, Lesen / Schreiben von 2D-Bildern auf dem Hadoop-Dateisystem
Ich möchte in der Lage sein, Bilder in einem HDFS-Dateisystem zu lesen / zu schreiben und die HDFS-Lokalität zu nutzen. Ich habe eine Sammlung von Bildern, bei denen jedes Bild aus @ besteh 2D Arrays von uint16 grundlegende zusätzliche ...