Suchergebnisse für Anfrage "scala"
Split 1 Spalte in 3 Spalten in Spark Scala
Ich habe einen Datenframe in Spark mit Scala, der eine Spalte enthält, die geteilt werden muss. scala> test.show +-------------+ |columnToSplit| +-------------+ | a.b.c| | d.e.f| +-------------+ Ich brauche diese Spalte aufgeteilt, um so ...
Play / Scala JSON-Format für beide
Ich habe eine Wertklasse, die ein @ akzeptieEither, mit dem ich ein Play for Scala v2.5.6 JSON generieren möchteFormat zum import org.joda.time.{DateTime, Duration} case class When(when: Either[DateTime, Duration]) extends AnyValIch denke, ich ...
Ausnahme beim Zugriff auf KafkaOffset über RDD
Ich habe einen Spark-Konsumenten, der von Kafka streamt. Ich versuche, Offsets für genau eine Semantik zu verwalten. Beim Zugriff auf den Offset wird jedoch die folgende Ausnahme ausgelöst: "java.lang.ClassCastException: ...
Update Case Class von unvollständigem JSON mit Argonaut oder Circe
Ich muss eine aktualisierte Instanz aus einer Instanz einer Fallklasse erstellen (mit allen erforderlichenDecodeJsons implizit abgeleitet), bei unvollständigem json (einige Felder fehlen). Wie kann dies mit Argonaut (am besten) oder Circe (wenn ...
Spark druckt keine Ausgaben auf der Konsole innerhalb der Kartenfunktion
Ich habe eine einfache Spark-Anwendung, die im Cluster-Modus ausgeführt wird. val funcGSSNFilterHeader = (x: String) => { println(!x.contains("servedMSISDN") !x.contains("servedMSISDN") } val ssc = new ...
SBT - Strategie zum Zusammenführen mehrerer Projekte und zum Aufbau einer SBT-Struktur bei Verwendung von Assembly
Ich habe ein Projekt, das aus mehreren kleineren Projekten besteht, von denen einige voneinander abhängig sind. Beispielsweise gibt es ein Hilfsprojekt, das vom gemeinsamen Projekt abhängt. Andere Projekte hängen möglicherweise ...
Convert Beliebiger Scala-Typ in Array [Byte] und zurück
Ich habe die folgende Frage: Ich habe einen Variablenwert in meinem Programm, der als Beliebiger Wert deklariert ist. Ich möchte diesen Wert in Byte Array konvertieren. Wie kann ich in Byte-Arrays und zurück serialisieren? Ich habe ...
wie man json mit schema in spark dataframes / spark sql liest
sql / dataframes, bitte helfen Sie mir oder machen Sie einen guten Vorschlag, wie man diesen json @ lies { "billdate":"2016-08-08', "accountid":"xxx" "accountdetails":{ "total":"1.1" "category":[ { "desc":"one", "currentinfo":{ "value":"10" }, ...
Conditional Join in Spark DataFrame
Ich versuche, zwei zu verbindenDataFrame mit Bedingung. Ich habe zwei Datenrahmen A und B. A enthält die Spalten id, m_cd und c_cd. B enthält die Spalten m_cd, c_cd und record. Bedingungen sind - Wenn m_cd null ist, dann verbinde c_cd von A ...
Wie filtere ich Spark-Datenrahmen, wenn eine Spalte Mitglied einer anderen Spalte ist?
Ich habe einen Datenrahmen mit zwei Spalten (eine Zeichenfolge und ein Array von Zeichenfolge): root |-- user: string (nullable = true) |-- users: array (nullable = true) | |-- element: string (containsNull = true)Wie kann ich den Datenrahmen so ...