Suchergebnisse für Anfrage "apache-spark-sql"
Spark Dataframe-Spalte nullable-Eigenschaftsänderung
Ich möchte die Eigenschaft nullable einer bestimmten Spalte in einem Spark-Dataframe ändern. Wenn ich das Schema des aktuellen Datenrahmens drucke, sieht es wie folgt aus.col1: string (nullable = false) col2: string (nullable = true) col3: ...
Anwenden von UDFs auf GroupedData in PySpark (mit funktionierendem Python-Beispiel)
Ich habe diesen Python-Code, der lokal in einem Pandas-Datenframe ausgeführt wird: df_result = pd.DataFrame(df .groupby('A') .apply(lambda x: myFunction(zip(x.B, x.C), x.name))Ich möchte dies in PySpark ausführen, habe jedoch Probleme mit ...
Spark sql wie man explodiert ohne Nullwerte zu verlieren
Ich habe einen Datenrahmen, den ich zu reduzieren versuche. Als Teil des Prozesses möchte ich es auflösen. Wenn ich also eine Spalte mit Arrays habe, wird jeder Wert des Arrays verwendet, um eine separate Zeile zu erstellen. Zum Beispiel id | ...
PySpark: StructField (…,…, False) gibt immer `nullable = true` anstelle von` nullable = false` zurück
Ich bin neu bei PySpark und stehe vor einem seltsamen Problem. Ich versuche, eine Spalte beim Laden eines CSV-Datasets auf nicht nullwertfähig zu setzen. Ich kann meinen Fall mit einem sehr kleinen Datensatz reproduzieren ...
Verschachtelte Elemente in Scala Spark Dataframe umbenennen
Ich habe einen Spark Scala-Datenrahmen mit einer verschachtelten Struktur: |-- _History: struct (nullable = true) | |-- Article: array (nullable = true) | | |-- element: struct (containsNull = true) | | | |-- Id: string (nullable = true) | | | ...
Wie verwende ich die Schlüsselwörter LEFT und RIGHT in SPARK SQL?
Ich bin neu, um SQL auszulösen, n MS SQL haben wir das Schlüsselwort LEFT,LEFT(Columnname,1) in('D','A') then 1 else 0. Wie Sie dasselbe in SPARK SQL implementieren. Bitte führen Sie mich
Wie implementiere ich Auto-Inkrement in Spark-SQL (PySpark)?
Ich muss eine Auto-Inkrement-Spalte in meine Spark-SQL-Tabelle implementieren, wie könnte ich das tun. Bitte führe mich. Ich benutze Pyspark 2.0 Danke Kalyan
FPgrowth Computerverband in Pyspark vs Scala
Mit : http: //spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.htm [http://spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.html] Python-Code: from pyspark.mllib.fpm import FPGrowth model = ...
Wie schalte ich die wissenschaftliche Notation im Pyspark aus?
Als Ergebnis einer Aggregation habe ich folgenden Sparkdataframe gefunden: ------------+-----------------+-----------------+ |sale_user_id|gross_profit |total_sale_volume| +------------+-----------------+-----------------+ | 20569| -3322960.0| ...
Splitting Reihe in mehrere Reihen in Funkenschale
Ich habe Daten in Spark-Datenrahmen in Spark-Shell importiert. Daten werden wie folgt eingegeben: Col1 | Col2 | Col3 | Col4 A1 | 11 | B2 | a|b;1;0xFFFFFF A1 | 12 | B1 | 2 A2 | 12 | B2 | 0xFFF45BHier in Spalte 4 sind die Werte von ...