Suchergebnisse für Anfrage "apache-spark-2.0"
Scala case class ignoriert den Import in der Spark-Shell
Ich hoffe, es gibt eine offensichtliche Antwort auf diese Frage! Ich habe gerade ein Upgrade auf Spark v2.0 durchgeführt und habe ein seltsames Problem mit dem spark-shell (Scala 2.11 Build). Wenn ich die folgende minimale Skala ...
Apache Spark vs Apache Spark 2 [geschlossen]
Welche Verbesserungen bringt Apache Spark2 im Vergleich zu Apache Spark? Aus Sicht der Architektur Aus Sicht der Anwendungoder meh
Wie wird SQL-Dialekt angegeben, wenn Spark-Datenrahmen aus JDBC erstellt werden?
Ich habe ein Problem beim Lesen von Daten über benutzerdefiniertes JDBC mit Spark. Wie würde ich vorgehen, um den über die JDBC-URL abgeleiteten SQL-Dialekt zu überschreiben? Die fragliche Datenbank ist vitess https: ...
Lesen von CSV-Dateien mit Feldern in Anführungszeichen, die eingebettete Kommas enthalten
Ich lese eine CSV-Datei in Pyspark wie folgt: df_raw=spark.read.option("header","true").csv(csv_path) Die Datendatei enthält jedoch Felder mit eingebetteten Kommas, die nicht als Kommas behandelt werden dürfen. Wie kann ich mit Pyspark umgehen? ...