Suchergebnisse für Anfrage "scala"
Wie man einen Encoder für einen Konstruktor vom Typ Option erstellt, z. Option [Int]?
Ist es möglich, @ zu verwendOption[_] member in einer Fallklasse, die mit der Dataset-API verwendet wird? z.B.Option[Int] Ich habe versucht, ein Beispiel zu finden, konnte aber noch kein Beispiel finden. Dies kann wahrscheinlich mit einem ...
yp des generischen impliziten Parameters vom Rückgabetyp übernehm
Sag ich habe eine einfache Klasse wie diese abstract class Foo { implicit val impInt: Int = 42 def f[A]()(implicit a: A): A val f2: Int = f() }Wenn val @ deklariert wif2, der Compiler kann darauf schließen, dass der Typ des impliziten Parameters ...
Wie subtrahiere ich einen Tag / eine Stunde / eine Minute von joda-time DateTime in Scala?
Ich versuche, Joda-Time mit @ zu verwendits Scala Wrapper [http://github.com/jorgeortiz85/scala-time]. Sprichwortval dt ist einDateTime und enthält eindate (zero time), wie erhalte ich das Datum des Vortages?dt - 1.days funktioniert nicht und ...
Finden Sie das Minimum für einen Zeitstempel über Spark groupBy dataframe
Wenn ich versuche, meinen Datenrahmen in einer Spalte zu gruppieren, versuche ich, das Minimum für jede Gruppierung zu findengroupbyDatafram.min('timestampCol') es scheint, ich kann es nicht für nicht numerische Spalten tun. Wie kann ich dann das ...
Spark - Summe der Zeilenwerte
Ich habe den folgenden DataFrame: January | February | March ----------------------------- 10 | 10 | 10 20 | 20 | 20 50 | 50 | 50 Ich versuche, eine Spalte hinzuzufügen, die die Summe der Werte jeder Zeile ist. January | February | March | ...
Filtern von Zeilen basierend auf Spaltenwerten in der Spark-Datenrahmenskala
Ich habe einen Datenrahmen (Funke): id value 3 0 3 1 3 0 4 1 4 0 4 0Ich möchte einen neuen Datenrahmen erstellen: 3 0 3 1 4 1Notwendig, alle Zeilen nach 1 (Wert) für jede ID zu entfernen. Ich habe es mit Fensterfunktionen in Spark Dateframe ...
Spark Dataset API - Join
Ich versuche den Spark zu benutzen Dataset [https://databricks.com/blog/2016/01/04/introducing-spark-datasets.html] API, aber ich habe einige Probleme beim Ausführen eines einfachen Joins. Nehmen wir an, ich habe zwei Datensätze mit ...
Wie wähle ich eine Teilmenge von Feldern aus einer Array-Spalte in Spark aus?
Sagen wir, ich habe einen DataFrame wie folgt: case class SubClass(id:String, size:Int,useless:String) case class MotherClass(subClasss: Array[SubClass]) val df = sqlContext.createDataFrame(List( ...
Wie werden die Ergebnisse in Scala zwischengespeichert?
Diese Seit [http://lampwww.epfl.ch/~odersky/whatsnew/collections-api/collections_10.html] hat eine Beschreibung von Map'sgetOrElseUpdate Verwendungsmethode: object WithCache{ val cacheFun1 = collection.mutable.Map[Int, Int]() def fun1(i:Int) = ...
Wie verwende ich Funktionen, die von der DataFrameNaFunctions-Klasse in Spark für einen DataFrame bereitgestellt werden?
Ich habe einen Datenrahmen und möchte einen der @ verwendeersetzen( Die Funktion vonorg.apache.spark.sql.DataFrameNaFunctions auf diesem Datenrahmen. Problem Ich erhalte diese Methoden in Intelligenz (Vorschlägen) mit der Instanz von DataFrame ...