Suchergebnisse für Anfrage "hadoop"
Wie Phoenix-Tabellendaten über den HBase-REST-Service abgerufen werden
Ich habe eine HBase-Tabelle mit dem Phoenix JDBC-Treiber im folgenden Codeausschnitt erstellt: Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); Connection conn ...
Wie führe ich ein Hadoop-Programm aus?
Ich habe Hadoop auf meinem Laptop eingerichtet und das in der Installationsanleitung angegebene Beispielprogramm erfolgreich ausgeführt. Ich kann jedoch kein Programm ausführen. rohit@renaissance1:~/hadoop/ch2$ hadoop MaxTemperature ...
Vorwärts fehlende Werte in Spark / Python füllen
Ich versuche, fehlende Werte in meinem Spark-Datenframe mit dem vorherigen Nicht-Null-Wert (falls vorhanden) zu füllen. Ich habe so etwas in Python / Pandas gemacht, aber meine Daten sind zu groß für Pandas (auf einem kleinen Cluster) und ich ...
PySpark: Lesen, Mappen und Verkleinern von mehrzeiligen Textdateien mit newAPIHadoopFile
Ich versuche so ein Problem zu lösen, das ein bisschen ähnlich wie @ idieser Beitra [https://stackoverflow.com/questions/31227363/creating-spark-data-structure-from-multiline-record] . Meine Originaldaten sind eine Textdatei, die Werte ...
Access-Dateien, die mit einem Unterstrich in apache spark @ beginn
Ich versuche, auf gz-Dateien auf s3 zuzugreifen, die mit @ beginne_ in Apache Spark. Leider hält spark diese Dateien für unsichtbar und gibt @ zurücInput path does not exist: s3n:.../_1013.gz. Wenn ich den Unterstrich entferne, ist die Datei in ...
Spark unter Windows - Was genau ist winutils und warum brauchen wir es?
Ich bin neugierig! Meines Wissens benötigt HDFS Datanode-Prozesse, und deshalb funktioniert es nur auf Servern. Spark kann zwar lokal ausgeführt werden, benötigt jedoch winutils.exe, eine Komponente von Hadoop. Aber was genau macht es? Wie kommt ...
Effizientere Abfrage zur Vermeidung von OutOfMemoryError in Hive
Ich erhalte ein java.lang.OutOfMemoryError: GC-Overhead-Limit in Hive überschritten. Bei der Suche habe ich festgestellt, dass 98% der gesamten CPU-Zeit des Prozesses für die Speicherbereinigung aufgewendet werden (was auch immer das bedeutet?). ...
Wenn Sie --negotiate with curl verwenden, ist eine Keytab-Datei erforderlich?
DasDokumentatio [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html] n @ wird beschrieben, wie eine Verbindung zu einem kerberos-gesicherten Endpunkt hergestellt wird: curl -i --negotiate -u : ...
ie erreicht man eine Paginierung in HBas
Ich bin neu in Hbase und muss die Paginierung mit Java und Jersey und Hbase als Datenbank implementieren. Ich brauche etwas Hilfe, wie kann ich mit Hbase eine Paginierung erreichen, da die Daten auf verschiedene Regionen verteilt werden. Ich ...
Zur Begrenzung des großen RDD
Ich lese viele Bilder und würde gerne einen kleinen Teil davon für die Entwicklung bearbeiten. Als Ergebnis versuche ich zu verstehen, wieFunk [/questions/tagged/spark] undPytho [/questions/tagged/python] könnte das möglich machen: In [1]: d = ...