Suchergebnisse für Anfrage "window-functions"
Spark Task mit Lag Window Funktion nicht serialisierbar
Ich habe festgestellt, dass nach der Verwendung einer Window-Funktion über einen DataFrame beim Aufrufen einer map () mit einer Funktion Spark eine "Task nicht serialisierbar" zurückgibt. Ausnahme Dies ist mein Code: val ...
Partitionierung nach mehreren Spalten in Spark SQL
Mit den Fensterfunktionen von Spark SQL muss ich meine Datenabfragen wie folgt nach mehreren Spalten partitionieren: val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100, 0) Ich habe derzeit keine Testumgebung (ich arbeite ...
So filtern Sie Daten mithilfe von Fensterfunktionen in spark
Ich habe folgende Daten: rowid uid time code 1 1 5 a 2 1 6 b 3 1 7 c 4 2 8 a 5 2 9 c 6 2 9 c 7 2 10 c 8 2 11 a 9 2 12 c Jetzt wollte ich die Daten so filtern, dass ich die Zeilen 6 und 7 entfernen kann, da ich für eine bestimmte UID nur eine ...
Complex 'Gaps and Islands' Ausgabe
Ich habe eine Tabelle in einer Postgres-Datenbank wie folgt: person | eventdate | type -------------------------------------- <uuid-1> | 2016-05-14 | 300 <uuid-3> | 2016-05-14 | 300 <uuid-1> | 2016-05-15 | 301 <uuid-1> | 2016-05-16 | 301 ...
Spark Window Functions benötigt HiveContext?
Ich versuche ein Beispiel für eine Fensterfunktion auf Funken aus diesem ...
Pyspark: Benutzerdefinierte Fensterfunktion
Ich versuche derzeit, eine Reihe aufeinanderfolgender Vorkommen in einem PySpark-Datenrahmen zu extrahieren und sie wie unten gezeigt zu ordnen / einzuordnen (der Einfachheit halber habe ich den anfänglichen Datenrahmen nach @ bestelluser_id ...