Suchergebnisse für Anfrage "scala"
Wie definiere ich die Partitionierung von DataFrame?
Ich habe begonnen, Spark SQL und DataFrames in Spark 1.4.0 zu verwenden. Ich möchte in Scala einen benutzerdefinierten Partitionierer für DataFrames definieren, sehe aber nicht, wie das geht. Eine der Datentabellen, mit denen ich arbeite, ...
Reverse AJAX (Comet) und Spring MVC vs. Scala / LIFT?
Da ist eindemo von IBM [http://www.ibm.com/developerworks/java/library/j-jettydwr/index.html] das zeigt, wie einfach Reverse AJAX mit DWR 2 verwendet werden kann. Andererseits verfügt Scala / LIFT über eine integrierte Reverse ...
Gibt es eine Möglichkeit, Spark RDD distinct neu zu schreiben, um mapPartitions anstelle von distinct zu verwenden?
Ich habe eine RDD, die zu groß ist, um eine eindeutige Anweisung ohne fehlerhafte Fehler konsistent auszuführen (z. B. 4-maliges Fehlschlagen der SparkException-Stufe, ExecutorLostFailure, HDFS-Dateisystem geschlossen, maximale Anzahl von ...
Was ist der schnellste Weg, eine Sammlung in Scala @ zusammenzufasse
Ich habe verschiedene Sammlungen in Scala ausprobiert, um die Elemente zu summieren, und sie sind viel langsamer als Java-Summen, die Arrays sind (mitfor Zyklus). Gibt es eine Möglichkeit für Scala, so schnell wie Java-Arrays zu sein? Ich habe ...
Blocking Keyword in Scala
Was ist der Unterschied zwischenFuture(blocking(blockingCall())) undblocking(Future(blockingCall()))? Beide sind in @ definierscala.concurrent._ Ich habe geschautat the scala docs [http://docs.scala-lang.org/overviews/core/futures.html#blocking] ...
Insert ein neues Element an einer bestimmten Position einer Liste
Es gibt keine eingebaute Funktion oder Methode einer Liste, mit der der Benutzer ein neues Element an einer bestimmten Position einer Liste hinzufügen könnte. Ich habe eine Funktion geschrieben, die dies tut, aber ich bin mir nicht sicher, ob es ...
Warum ist Upcasting in diesem Scala-Code erforderlich?
Dies kompiliert: import scala.collection._ trait Foo[A, +This <: SortedSet[A] with SortedSetLike[A,This]] extends SortedSetLike[A, This] { this: This => def bar: This = (this: SortedSetLike[A,This]).empty }Aber wenn der Upcast entfernt ...
Lesen Sie mit Spark @ mehrere Dateien aus einem Verzeichn
Ich versuche das zu lösenProble [https://www.kaggle.com/c/axa-driver-telematics-analysis] at kaggle using spark: die Hierarchie der Eingabe ist wie folgt: drivers/{driver_id}/trip#.csv e.g., drivers/1/1.csv drivers/1/2.csv drivers/2/1.csvIch ...
Was sind die versionsspezifischen Quellverzeichnisse von Scala in sbt?
Ich bin mir fast sicher, dass ich irgendwo gelesen / gesehen habe, dass die neuesten sbt-Versionen es mir ermöglichen, Scala-versionsspezifische Quellen in bestimmten Verzeichnissen abzulegen, damit sie je nach @ abgeholt werdescalaVersion ...
Spark Streaming in einem S3-Verzeichnis
So werden Tausende von Ereignissen über Amazon Kinesis in SQS gestreamt und dann in ein S3-Verzeichnis verschoben. Ungefähr alle 10 Minuten wird eine neue Textdatei erstellt, um die Daten von Kinesis in S3 zu speichern. Ich möchte Spark Streaming ...