Suchergebnisse für Anfrage "scala"
Type Erasure in Scala
Ich bin ziemlich verwirrt darüber, was hier passiert: import scala.collection.immutable._ object Main extends App { sealed trait Node sealed trait Group case class Sheet( val splat: String, val charname: String, val children: ListMap[String, ...
Typinferenz mit existenziellem Typ
Ich habe ein generisches MerkmalSomeTrait als so definiert: trait SomeTrait[T] { def foo(t: T): String }Und Methodenbar undqux as so: def bar[T](t: SomeTrait[T]): T def qux: List[SomeTrait[_]]Ich habe keine Kontrolle über die oben genannten. ...
Spark Dataset select with typedcolumn
Mit Blick auf dieselect() -Funktion auf dem Funken DataSet gibt es verschiedene generierte Funktionssignaturen: (c1: TypedColumn[MyClass, U1],c2: TypedColumn[MyClass, U2] ....)Dies scheint darauf hinzudeuten, dass ich in der Lage sein sollte, ...
Scala: gelernte Konstrukteure
Ich habe die folgende Scala-Klasse: class Person(var name : String, var age : Int, var email : String)Ich möchte den Person-Konstruktor als Curry-Funktion verwenden: def mkPerson = (n : String) => (a : Int) => (e : String) => new ...
Wie kann die Anzahl der Wiederholungsversuche bei einem Fehler im Spark-Job begrenzt werden?
Wir führen einen Spark-Job über @ aspark-submit, und ich kann sehen, dass der Job im Falle eines Fehlers erneut übergeben wird. Wie kann ich verhindern, dass bei einem Versagen des Garnbehälters der zweite Versuch ausgeführt wird, oder was auch ...
Spark letzte Aufgabe dauert 100x länger als die ersten 199, wie man @ verbesse
Beim Ausführen von Abfragen mit Datenrahmen treten einige Leistungsprobleme auf. Ich habe in meinen Nachforschungen festgestellt, dass langfristige Aufgaben ein Zeichen dafür sein können, dass Daten nicht optimal gestört werden, aber keinen ...
Lesen Sie aus einer Hive-Tabelle und schreiben Sie mit spark sql @ darauf zurüc
Ich lese eine Hive-Tabelle mit Spark SQL und ordne sie einer Scala zu. val x = sqlContext.sql("select * from some_table")Dann bearbeite ich den Datenrahmen x und erstelle schließlich einen Datenrahmen y, der das genaue Schema wie die Tabelle ...
Scala case class ignoriert den Import in der Spark-Shell
Ich hoffe, es gibt eine offensichtliche Antwort auf diese Frage! Ich habe gerade ein Upgrade auf Spark v2.0 durchgeführt und habe ein seltsames Problem mit dem spark-shell (Scala 2.11 Build). Wenn ich die folgende minimale Skala ...
Jackson-Version ist zu alt
Ich habe die folgendenbuild.sbt Datei name := "myProject" version := "1.0" scalaVersion := "2.11.8" javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled") dependencyOverrides ++= ...
Lesen mehrerer Dateien von S3 in Spark nach Datumszeitraum
BeschreibunIch habe eine Anwendung, die Daten an AWS Kinesis Firehose sendet und diese Daten in meinen S3-Bucket schreibt. Firehose verwendet das Format "JJJJ / MM / TT / HH", um die Dateien zu schreiben. Wie in diesem Beispiel S3 ...