Suchergebnisse für Anfrage "hadoop"
Spark: Speichern von RDD in einem bereits vorhandenen Pfad in HDFS
Ich kann die RDD-Ausgabe mit @ in HDFS speicher saveAsTextFile Methode. Diese Methode löst eine Ausnahme aus, wenn der Dateipfad bereits vorhanden ist. Ich habe einen Anwendungsfall, in dem ich das RDDS in einem bereits vorhandenen Dateipfad in ...
ie erreicht man eine Paginierung in HBas
Ich bin neu in Hbase und muss die Paginierung mit Java und Jersey und Hbase als Datenbank implementieren. Ich brauche etwas Hilfe, wie kann ich mit Hbase eine Paginierung erreichen, da die Daten auf verschiedene Regionen verteilt werden. Ich ...
So überprüfen Sie die Spark-Version [closed]
Ich möchte die Spark-Version in cdh 5.7.0 überprüfen. Ich habe im Internet gesucht, aber nicht verstehen können. Bitte helfen Sie. Vielen Dan
Wenn Sie --negotiate with curl verwenden, ist eine Keytab-Datei erforderlich?
DasDokumentatio [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html] n @ wird beschrieben, wie eine Verbindung zu einem kerberos-gesicherten Endpunkt hergestellt wird: curl -i --negotiate -u : ...
Effizientere Abfrage zur Vermeidung von OutOfMemoryError in Hive
Ich erhalte ein java.lang.OutOfMemoryError: GC-Overhead-Limit in Hive überschritten. Bei der Suche habe ich festgestellt, dass 98% der gesamten CPU-Zeit des Prozesses für die Speicherbereinigung aufgewendet werden (was auch immer das bedeutet?). ...
Access-Dateien, die mit einem Unterstrich in apache spark @ beginn
Ich versuche, auf gz-Dateien auf s3 zuzugreifen, die mit @ beginne_ in Apache Spark. Leider hält spark diese Dateien für unsichtbar und gibt @ zurücInput path does not exist: s3n:.../_1013.gz. Wenn ich den Unterstrich entferne, ist die Datei in ...
Spark unter Windows - Was genau ist winutils und warum brauchen wir es?
Ich bin neugierig! Meines Wissens benötigt HDFS Datanode-Prozesse, und deshalb funktioniert es nur auf Servern. Spark kann zwar lokal ausgeführt werden, benötigt jedoch winutils.exe, eine Komponente von Hadoop. Aber was genau macht es? Wie kommt ...
Vorwärts fehlende Werte in Spark / Python füllen
Ich versuche, fehlende Werte in meinem Spark-Datenframe mit dem vorherigen Nicht-Null-Wert (falls vorhanden) zu füllen. Ich habe so etwas in Python / Pandas gemacht, aber meine Daten sind zu groß für Pandas (auf einem kleinen Cluster) und ich ...
PySpark: Lesen, Mappen und Verkleinern von mehrzeiligen Textdateien mit newAPIHadoopFile
Ich versuche so ein Problem zu lösen, das ein bisschen ähnlich wie @ idieser Beitra [https://stackoverflow.com/questions/31227363/creating-spark-data-structure-from-multiline-record] . Meine Originaldaten sind eine Textdatei, die Werte ...
Wie Phoenix-Tabellendaten über den HBase-REST-Service abgerufen werden
Ich habe eine HBase-Tabelle mit dem Phoenix JDBC-Treiber im folgenden Codeausschnitt erstellt: Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); Connection conn ...