Suchergebnisse für Anfrage "scala"
Wie filtere ich einen Spark-Datenrahmen gegen einen anderen Datenrahmen?
Ich versuche, einen Datenrahmen gegen einen anderen zu filtern: scala> val df1 = sc.parallelize((1 to 100).map(a=>(s"user $a", a*0.123, a))).toDF("name", "score", "user_id") scala> val df2 = sc.parallelize(List(2,3,4,5,6)).toDF("valid_id")Now ...
Warum erlaubt Spark keine kartenseitige Kombination mit Array-Schlüsseln?
Ich verwende Spark 1.3.1 und bin gespannt, warum Spark die Verwendung von Array-Schlüsseln bei der Map-Side-Kombination nicht zulässt. Stück voncombineByKey function: if (keyClass.isArray) { if (mapSideCombine) { throw new ...
Warum schlägt die Spark-Shell mit der NullPointerException fehl?
Ich versuche, @ auszuführspark-shell unter Windows 10, aber ich erhalte diesen Fehler jedes Mal, wenn ich ihn ausführe. Ich habe sowohl die neueste Version als auch die Version spark-1.5.0-bin-hadoop2.4 verwendet. 15/09/22 18:46:24 WARN ...
Was läuft falsch mit `unionAll` of Spark` DataFrame`?
it Spark 1.5.0 und dem folgenden Code erwarte ich, dass unionAll unionDataFrames basierend auf ihrem Spaltennamen. Im Code verwende ich FunSuite, um SparkContext @ zu übergebesc: object Entities { case class A (a: Int, b: Int) case class B (b: ...
Wie erstelle ich eine Instanz eines Merkmals in einer generischen Methode in Scala?
Ich versuche, mit dieser Methode eine Instanz eines Merkmals zu erstellen val inst = new Object with MyTraitDies funktioniert gut, aber ich möchte diese Kreation in eine Generatorfunktion verschieben, dh. object Creator { def create[T] : T = ...
Wie verwende ich den Slick-Code-Generator, um auch Datenbankansichten einzubeziehen?
Ich versuche, mit Slick 3.0.3 den Scala-Code für die Datenbanktabellen und Sichten in meinem Schema zu generieren. Unterdieses Blog [http://arnaudt.github.io/2015/03/31/slick-codegen.html] als Beispiel habe ich die folgende Dateibuild.sbt. ...
Wie kann man alle csv-Dateien an einem HDFS-Speicherort in der Spark Scala-Shell auflisten?
Der Zweck dieses Befehls besteht darin, eine Kopie jeder Datendatei an einem zweiten Speicherort in HDFS zu bearbeiten und zu speichern. Ich werde @ verwend RddName.coalesce(1).saveAsTextFile(pathName), um das Ergebnis in HDFS ...
Unerwartetes Verhalten von StringBuilder in foreach
Während der Beantwortung vondiese Frag [https://stackoverflow.com/questions/32800221/apply-and-lambdas-in-scala] Ich bin über ein Verhalten gestolpert, das ich nicht erklären konnte. Kommen von val builder = new StringBuilder("foo bar baz ") (0 ...
Unit Testen des Dateiuploads in einem Controller mit Java Play Framework 2.3.x
Nachdem ich den größten Teil des Tages gearbeitet habe, habe ich das Gefühl, dass ich einer Lösung zum Testen einer Controller-Methode, die Datei-Uploads von JUnit akzeptiert, ziemlich nahe bin. Mein Juint-Testcode lautet wie folgt: Map<String, ...
Shapeless: Eigene HList-Einschränkung mit Coproduct
(HINWEIS: Teilen vonShapeless: Versuch, HList-Elemente nach Typ einzuschränken [https://stackoverflow.com/questions/32778746] ) Frage 2 - Eigene Einschränkung mit Coproduct Was ich wirklich wollte, ist, eine neue Einschränkung mit Coproduct ...