Suchergebnisse für Anfrage "scala"
Spark: verschmelzen sehr langsam, auch wenn die Ausgabedaten sehr klein sind
Ich habe den folgenden Code in Spark: myData.filter(t => t.getMyEnum() == null) .map(t => t.toString) .saveAsTextFile("myOutput")Der Ordner myOutput enthält mehr als 2000 Dateien, aber nur wenige t.getMyEnum () == null, sodass nur sehr wenige ...
Keine Konfigurationseinstellung für Schlüssel 'akka.version' gefunden
Ich lerne Akka-Remoting und so sieht mein Projekt aus Die Projektstruktur sieht aus wie project/pom.xml ...
Was ist der Unterschied zwischen ArrayBuffer und Array in scala
Ich bin neu in Scala / Java und habe Probleme, den Unterschied zwischen diesen beiden zu erkennen. eim Lesen des Scala-Dokuments habe ich verstanden, dass ArrayBuffer interaktiv ist (Anhängen, Einfügen, Voranstellen usw.). 1) Was sind die ...
Wie füge ich eine Zeilennummer in jede Zeile ein?
Angenommen, dies sind meine Daten: ‘Maps‘ and ‘Reduces‘ are two phases of solving a query in HDFS. ‘Map’ is responsible to read data from input location. it will generate a key value pair. that is, an intermediate output in local machine. ...
Was ist die Scala-Annotation, um sicherzustellen, dass eine rekursive Schwanzfunktion optimiert ist?
Ich denke, dort ist@tailrec Annotation, um sicherzustellen, dass der Compiler eine rekursive Tail-Funktion optimiert. Stellen Sie es einfach vor die Erklärung? Funktioniert es auch, wenn Scala im Skriptmodus verwendet wird (zum Beispiel mit:load ...
Kein Json-Serializer als JsObject gefunden für Typ play.api.libs.json.JsObject
Ich habe den folgenden Code, der in einer Konsolenanwendung funktioniert, wenn auf @ verwiesen wir"org.reactivemongo" %% "play2-reactivemongo" % "0.10.5.0.akka23" wenn ich den Verweis auf @ aktualisie"org.reactivemongo" ...
DataFrame-Gleichheit in Apache Spark
Annehmendf1 unddf2 sind zweiDataFrames in Apache Spark, berechnet mit zwei verschiedenen Mechanismen, z. B. Spark SQL im Vergleich zur Scala / Java / Python-API. Gibt es eine idiomatische Methode, um festzustellen, ob die beiden ...
Scala-Entsprechung der C # -Erweiterungsmethoden?
n C # können Sie schreiben: using System.Numerics; namespace ExtensionTest { public static class MyExtensions { public static BigInteger Square(this BigInteger n) { return n * n; } static void Main(string[] args) { BigInteger two = new ...
Feldnamenliste aus Fallklasse holen
Ich muss nur die Feldnamen der Fallklasse abrufen. Ich interessiere mich nicht für seine Werte. Ich dachtegetClass.getDeclaredFields.map(_.getName) würde eine Liste mit Feldnamen zurückgeben. scala> case class User(id: Int, name: String) defined ...
Warum funktioniert Spark-Broadcast nicht gut, wenn ich die App "Erweitert" verwende?
Der erste Code löst eine Nullzeigerausnahme aus. object TryBroadcast extends App{ val conf = new SparkConf().setAppName("o_o") val sc = new SparkContext(conf) val sample = sc.parallelize(1 to 1024) val bro = sc.broadcast(6666) val broSample = ...