Suchergebnisse für Anfrage "scala"
Wie wandle ich eine kategoriale Variable in Spark in eine Reihe von Spalten um, die mit {0,1} codiert sind?
Ich versuche, eine logistische Regression (LogisticRegressionWithLBFGS) mit Spark MLlib (mit Scala) für einen Datensatz durchzuführen, der kategoriale Variablen enthält. Ich stelle fest, dass Spark nicht in der Lage war, mit solchen Variablen zu ...
Wie berechnet man die Inverse einer RowMatrix in Apache Spark?
Ich habe eine X-verteilte Matrix in RowMatrix-Form. Ich benutze Spark 1.3.0. Ich muss in der Lage sein, die X-Inverse zu berechnen.
Wie kann Future as Applicative in Scala implementiert werden?
Angenommen, ich muss zwei gleichzeitige Berechnungen ausführen, auf beide warten und dann die Ergebnisse kombinieren. Genauer gesagt muss ich @ ausführf1: X1 => Y1 undf2: X2 => Y2 gleichzeitig und rufen Sie dannf: (Y1, Y2) => Y um endlich einen ...
UnsatisfiedLinkError: kein snappyjava in java.library.path beim Ausführen des Spark MLLib Unit-Tests in Intellij
Die folgende Ausnahme tritt auf, wenn ein Funkeneinheitentest ausgeführt wird, bei dem eine schnelle Komprimierung erforderlich ist: java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ...
Warum erhalte ich in sbt in einer Umgebung einen Konflikt zwischen den Versionen, in einer anderen jedoch nicht?
Ich habe ein sbt-Projekt mit diesen Abhängigkeiten: libraryDependencies ++= Seq( "org.scalatra" %% "scalatra" % ScalatraVersion, "org.scalatra" %% "scalatra-scalate" % ScalatraVersion, "org.scalatra" %% "scalatra-specs2" % ScalatraVersion % ...
java.lang.NoSuchMethodError Jackson-Datenbindung und Spark
Ich versuche, Spark-Submit mit Spark 1.1.0 und Jackson 2.4.4 auszuführen. Ich habe Scala-Code, der Jackson verwendet, um JSON in Fallklassen zu de-serialisieren. Das funktioniert von alleine ganz gut, aber wenn ich es mit spark benutze, bekomme ...
Wie gehe ich mit der Exception in spark map () um?
Ich möchte die Ausnahme in der map () -Funktion ignorieren, zum Beispiel: rdd.map(_.toInt)where rdd ist einRDD[String]. , aber wenn es eine Nicht-Zahlen-Zeichenfolge erfüllt, schlägt dies fehl. Was ist der einfachste Weg, um eine Ausnahme zu ...
reduceByKey: Wie funktioniert es intern?
Ich bin neu bei Spark und Scala. Ich war verwirrt darüber, wie die Funktion reductByKey in Spark funktioniert. Angenommen, wir haben den folgenden Code: val lines = sc.textFile("data.txt") val pairs = lines.map(s => (s, 1)) val counts = ...
Verwenden von Javascript in der Play-Vorlage
Ich benutze das Spiel! Rahmen. Und ich habe eine scala.html-Vorlagendatei. Ich versuche, eine Google Javascript-Bibliothek hinzuzufügen, um der Web-App Diagramme hinzuzufügen. Basiclly Muss die folgende Funktion mit meinen eigenen Werten ...
Wie werden Elemente einer bestimmten RDD-Partition in Spark gedruckt?
Wie drucke ich die Elemente einer bestimmten Partition, zB 5th, alleine? val distData = sc.parallelize(1 to 50, 10)