Suchergebnisse für Anfrage "apache-spark-sql"
Spark-Fensterfunktionen - BereichZwischen Datumsangaben
Ich habe einen Spark SQLDataFrame mit Daten und was ich versuche zu erhalten, ist alle Zeilen vor der aktuellen Zeile in einem bestimmten Datumsbereich. So möchte ich zum Beispiel alle Zeilen ab 7 Tagen vor der angegebenen Zeile haben. Ich habe ...
Apache Spark Window-Funktion mit verschachtelter Spalte
Ich bin mir nicht sicher, ob dies ein Fehler ist (oder nur eine falsche Syntax). Ich habe mich umgesehen und habe dies an keiner anderen Stelle erwähnt. Deshalb frage ich hier, bevor ich einen Fehlerbericht einreiche. Ich versuche, eine ...
Spark Build Custom Column Function, benutzerdefinierte Funktion
Ich verwende Scala und möchte meine eigene DataFrame-Funktion erstellen. Zum Beispiel möchte ich eine Spalte wie ein Array behandeln, jedes Element durchlaufen und eine Berechnung durchführen. Zu Beginn versuche ich, meine eigene getMax-Methode ...
Flattening Rows in Spark
Ich teste mit Scala auf Funken. Wir lesen normalerweise JSON-Dateien, die wie im folgenden Beispiel bearbeitet werden müssen: test.json: {"a":1,"b":[2,3]} val test = sqlContext.read.json("test.json")Wie kann ich es in das folgende Format ...
Explode in PySpark
Ich möchte aus einem DataFrame, der Wortlisten enthält, einen DataFrame mit jedem Wort in einer eigenen Zeile erstellen. Wie kann ich eine Spalte in einem DataFrame auflösen? Hier ist ein Beispiel für einige meiner Versuche, bei denen Sie die ...
Wie werden Werte nach groupBy in einer Sammlung zusammengefasst?
Ich habe einen Datenrahmen mit Schema als solches: [visitorId: string, trackingIds: array<string>, emailIds: array<string>]Suchen Sie nach einer Möglichkeit, diesen Datenrahmen nach Besucher-ID zu gruppieren (oder möglicherweise zu rollen?), ...
Spark SQL - Escape Query String
Ich kann nicht glauben, dass ich das frage, aber ... WIE ENTSTEHT EINE SQL-ABFRAGE IN SPARK SQL MIT SCALA? ch habe alles satt und überall gesucht. Ich dachte, die Apache Commons Library würde es tun, aber kein Glück: import ...
Wie kann man in Spark mehrere Tabellen gleichzeitig lesen und schreiben?
In meiner Spark-Anwendung versuche ich, mehrere Tabellen aus RDBMS zu lesen, einige Daten zu verarbeiten und dann wie folgt mehrere Tabellen in ein anderes RDBMS zu schreiben (in Scala): val reading1 = sqlContext.load("jdbc", Map("url" -> ...
Wie benenne ich Felder in einem DataFrame um, der verschachteltem JSON entspricht?
Ich versuche, in einer mobilen App empfangene JSON-Ereignisse (wie Klicks usw.) mit @ zu verarbeitespark 1.5.2. Es gibt mehrere App-Versionen und die Struktur der Ereignisse variiert je nach Version. Say Version 1 hat die folgende Struktur: { ...
Differenz zwischen DataFrame, Dataset und RDD in Spark
Ich frage mich nur, was ist der Unterschied zwischen einemRDD undDataFrame (Spark 2.0.0 DataFrame ist ein reiner Typalias fürDataset[Row]) in Apache Spark? Kannst du eins in das andere konvertieren?