Suchergebnisse für Anfrage "scala"

2 die antwort

Type Erasure in Scala

Ich bin ziemlich verwirrt darüber, was hier passiert: import scala.collection.immutable._ object Main extends App { sealed trait Node sealed trait Group case class Sheet( val splat: String, val charname: String, val children: ListMap[String, ...

2 die antwort

Typinferenz mit existenziellem Typ

Ich habe ein generisches MerkmalSomeTrait als so definiert: trait SomeTrait[T] { def foo(t: T): String }Und Methodenbar undqux as so: def bar[T](t: SomeTrait[T]): T def qux: List[SomeTrait[_]]Ich habe keine Kontrolle über die oben genannten. ...

4 die antwort

Spark Dataset select with typedcolumn

Mit Blick auf dieselect() -Funktion auf dem Funken DataSet gibt es verschiedene generierte Funktionssignaturen: (c1: TypedColumn[MyClass, U1],c2: TypedColumn[MyClass, U2] ....)Dies scheint darauf hinzudeuten, dass ich in der Lage sein sollte, ...

TOP-Veröffentlichungen

6 die antwort

Scala: gelernte Konstrukteure

Ich habe die folgende Scala-Klasse: class Person(var name : String, var age : Int, var email : String)Ich möchte den Person-Konstruktor als Curry-Funktion verwenden: def mkPerson = (n : String) => (a : Int) => (e : String) => new ...

6 die antwort

Wie kann die Anzahl der Wiederholungsversuche bei einem Fehler im Spark-Job begrenzt werden?

Wir führen einen Spark-Job über @ aspark-submit, und ich kann sehen, dass der Job im Falle eines Fehlers erneut übergeben wird. Wie kann ich verhindern, dass bei einem Versagen des Garnbehälters der zweite Versuch ausgeführt wird, oder was auch ...

2 die antwort

Spark letzte Aufgabe dauert 100x länger als die ersten 199, wie man @ verbesse

Beim Ausführen von Abfragen mit Datenrahmen treten einige Leistungsprobleme auf. Ich habe in meinen Nachforschungen festgestellt, dass langfristige Aufgaben ein Zeichen dafür sein können, dass Daten nicht optimal gestört werden, aber keinen ...

6 die antwort

Lesen Sie aus einer Hive-Tabelle und schreiben Sie mit spark sql @ darauf zurüc

Ich lese eine Hive-Tabelle mit Spark SQL und ordne sie einer Scala zu. val x = sqlContext.sql("select * from some_table")Dann bearbeite ich den Datenrahmen x und erstelle schließlich einen Datenrahmen y, der das genaue Schema wie die Tabelle ...

2 die antwort

Scala case class ignoriert den Import in der Spark-Shell

Ich hoffe, es gibt eine offensichtliche Antwort auf diese Frage! Ich habe gerade ein Upgrade auf Spark v2.0 durchgeführt und habe ein seltsames Problem mit dem spark-shell (Scala 2.11 Build). Wenn ich die folgende minimale Skala ...

2 die antwort

Jackson-Version ist zu alt

Ich habe die folgendenbuild.sbt Datei name := "myProject" version := "1.0" scalaVersion := "2.11.8" javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled") dependencyOverrides ++= ...

2 die antwort

Lesen mehrerer Dateien von S3 in Spark nach Datumszeitraum

BeschreibunIch habe eine Anwendung, die Daten an AWS Kinesis Firehose sendet und diese Daten in meinen S3-Bucket schreibt. Firehose verwendet das Format "JJJJ / MM / TT / HH", um die Dateien zu schreiben. Wie in diesem Beispiel S3 ...