Suchergebnisse für Anfrage "apache-spark-sql"
Wie definiere ich ein Schema für einen benutzerdefinierten Typ in Spark SQL?
Der folgende Beispielcode versucht, einige Fallobjekte in einen Datenrahmen einzufügen. Der Code enthält die Definition einer Fallobjekthierarchie und einer Fallklasse unter Verwendung dieser Eigenschaft: import org.apache.spark.{SparkContext, ...
PySpark: Durchschnitt einer Spalte nach Verwendung der Filterfunktion
Ich verwende den folgenden Code, um das Durchschnittsalter von Personen zu ermitteln, deren Gehalt einen bestimmten Schwellenwert überschreitet. dataframe.filter(df['salary'] > 100000).agg({"avg": "age"})das Spaltenalter ist numerisch (float), ...
Wie implementiere ich eine Like-Bedingung in SparkSQL?
Wie schreibe ich eine SQL-Anweisung, um das Ziel wie folgt zu erreichen: SELECT * FROM table t WHERE t.a LIKE '%'||t.b||'%';Vielen Dank
Geburtsdatum in Spark Dataframe API in Alter umwandeln
Das scheint einfach, aber ich konnte die Antwort nicht finden. Ich versuche, eine Spalte mit dem Geburtsdatum im folgenden Datumsformat in das Datumsformat in der Spark Dataframe-API zu konvertieren und dann das entsprechende Alter zu berechnen. ...
Speichern / Exportieren von transformiertem DataFrame zurück nach JDBC / MySQL
Ich versuche herauszufinden, wie man das neue @ benutDataFrameWriter, um Daten zurück in eine JDBC-Datenbank zu schreiben. Ich kann anscheinend keine Dokumentation dafür finden, obwohl es im Quellcode so aussieht, als ob es möglich wäre. Ein ...
Funktioniert Spark-Prädikat-Pushdown mit JDBC?
GemäßDie [https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html] Catalyst wendet logische Optimierungen an, z. B. das Pushdown von Vergleichselementen. Das Optimierungsprogramm kann ...
Wie verwende ich eine SQL-Abfrage, um eine Tabelle in dbtable zu definieren?
ImJDBC zu anderen Datenbanken [http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases] Ich fand die folgende Erklärung vondbtable parameter: Die JDBC-Tabelle, die gelesen werden soll. Beachten Sie, dass alles, ...
Spark DataFrame: Zeilenweise Mittelwertberechnung (oder eine beliebige Aggregatoperation)
Ich habe einen Spark-DataFrame im Speicher geladen, und ich möchte den Mittelwert (oder eine beliebige Aggregatoperation) über die Spalten ziehen. Wie würde ich das machen? (Imnumpy, dies wird als Übernahme einer Operation über ...
SparkSQL - Lag-Funktion?
Ich sehe in diesemDataBricks post [https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html] , in SparkSql werden Fensterfunktionen unterstützt, insbesondere versuche ich, die Fensterfunktion lag () zu verwenden. Ich ...
Was ist der beste Weg, um benutzerdefinierte Methoden in einem DataFrame zu definieren?
Ich muss benutzerdefinierte Methoden für DataFrame definieren. Was ist der bessere Weg, um es zu tun? Die Lösung sollte skalierbar sein, da ich eine erhebliche Anzahl benutzerdefinierter Methoden definieren möchte. ein aktueller Ansatz ist es, ...