Suchergebnisse für Anfrage "apache-spark"
Speichern / Exportieren von transformiertem DataFrame zurück nach JDBC / MySQL
Ich versuche herauszufinden, wie man das neue @ benutDataFrameWriter, um Daten zurück in eine JDBC-Datenbank zu schreiben. Ich kann anscheinend keine Dokumentation dafür finden, obwohl es im Quellcode so aussieht, als ob es möglich wäre. Ein ...
Wie kann man alle csv-Dateien an einem HDFS-Speicherort in der Spark Scala-Shell auflisten?
Der Zweck dieses Befehls besteht darin, eine Kopie jeder Datendatei an einem zweiten Speicherort in HDFS zu bearbeiten und zu speichern. Ich werde @ verwend RddName.coalesce(1).saveAsTextFile(pathName), um das Ergebnis in HDFS ...
Warum erlaubt Spark keine kartenseitige Kombination mit Array-Schlüsseln?
Ich verwende Spark 1.3.1 und bin gespannt, warum Spark die Verwendung von Array-Schlüsseln bei der Map-Side-Kombination nicht zulässt. Stück voncombineByKey function: if (keyClass.isArray) { if (mapSideCombine) { throw new ...
PySpark DataFrames - Aufzählung ohne Konvertierung in Pandas?
Ich habe ein sehr großes pyspark.sql.dataframe.DataFrame mit dem Namen df. Ich brauche eine Möglichkeit, um Datensätze aufzulisten. Daher kann ich auf Datensätze mit einem bestimmten Index zugreifen. (oder Datensatzgruppe mit Indexbereich ...
Wie verwende ich Fensterfunktionen in PySpark mit DataFrames?
Versuche herauszufinden, wie Fensterfunktionen in PySpark verwendet werden. Hier ist ein Beispiel dafür, was ich tun möchte: Zählen Sie einfach, wie oft ein Benutzer ein "Ereignis" hat (in diesem Fall ist "dt" ein simulierter Zeitstempel). from ...
Warum schlägt die Spark-Shell mit der NullPointerException fehl?
Ich versuche, @ auszuführspark-shell unter Windows 10, aber ich erhalte diesen Fehler jedes Mal, wenn ich ihn ausführe. Ich habe sowohl die neueste Version als auch die Version spark-1.5.0-bin-hadoop2.4 verwendet. 15/09/22 18:46:24 WARN ...
Spark Datentyp guesser UDAF
Wollte so etwas nehmenhttps: //github.com/fitzscott/AirQuality/blob/master/HiveDataTypeGuesser.jav [https://github.com/fitzscott/AirQuality/blob/master/HiveDataTypeGuesser.java] und erstellen Sie eine Hive-UDAF, um eine Aggregatfunktion zu ...
Zugriff auf Spark von Flask App
Ich habe eine einfache Flask-App geschrieben, um einige Daten an Spark zu übergeben. Das Skript funktioniert in IPython Notebook, aber nicht, wenn ich versuche, es auf einem eigenen Server auszuführen. Ich glaube nicht, dass der Spark-Kontext ...
Wie überprüfe ich, ob der Spark-Datenrahmen leer ist?
Right jetzt muss ich @ verwenddf.count > 0, um zu überprüfen, ob dasDataFrame ist leer oder nicht. Aber es ist irgendwie ineffizient. Gibt es einen besseren Weg, das zu tun? Vielen Dank PS: Ich möchte überprüfen, ob es leer ist, damit ich nur ...
Create Spark DataFrame. Schema für Typ kann nicht abgeleitet werden: <Typ 'float'>
Kann mir jemand bei der Lösung dieses Problems mit Spark DataFrame helfen? Wann mache ichmyFloatRDD.toDF() Ich erhalte eine Fehlermeldung: TypeError: Schema für Typ kann nicht abgeleitet werden: Typ 'float' Ich verstehe nicht warum ...