Suchergebnisse für Anfrage "scala"
Wie erstelle ich einen benutzerdefinierten Transformer aus einer UDF?
Ich habe versucht, ein @ zu erstellen und zu speicherPipelin [https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.Pipeline] mit benutzerdefinierten Stufen. Ich muss ein @ hinzufügcolumn zu meinemDataFrame mit einemUDF. ...
Spark: Unterschied der Semantik zwischen reduct und reductByKey
n der Dokumentation von Spark heißt es, dass die RDD-Methodereduce [http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD] erfordert eine assoziative UND kommutative Binärfunktion. Allerdings ist die ...
Meine PlayFramework-Aktion kehrt zurück, bevor ein Future fertig ist. Wie aktualisiere ich eine Webseiten-Komponente?
Ich habe eine Scala PlayFramework-Funktion, die MongoDB aufruft und ein @ erhäFuture[Seq[Document]] Ergebnis. Nach einem Karten-Zoom / Schwenk-Ereignis wird dieses PlayActionie @ -Funktion wird von JavaScript auf einer Webseite über xhttp / GET ...
Broadcast wird beim Verbinden von Datenrahmen in Spark 1.6 nicht gesendet
Below ist der Beispielcode, den ich ausführe. Wenn dieser Spark-Job ausgeführt wird, werden Dataframe-Joins mithilfe von sortmergejoin anstelle von broadcastjoin ausgeführt. def joinedDf (sqlContext: SQLContext, txnTable: DataFrame, ...
Unerwartete Ergebnisse in Spark MapReduce
Ich bin neu bei Spark und möchte verstehen, wie MapReduce unter der Haube ausgeführt wird, um sicherzustellen, dass ich es richtig verwende.Dieser Beitra [https://stackoverflow.com/a/32520848/5880417] hat eine großartige Antwort geliefert, aber ...
In Scala, wie kommt es, dass `println (1,2)` funktioniert?
n Scala (2.7.7final) wird dasPredef.printlnie @ -Methode hat die folgende Signatur: def println (x : Any) : UnitWie kommt, dann funktioniert das folgende: scala> println(1,2) (1,2) Konvertiert der Compiler automatisch eine durch ...
Anwenden der Funktion auf Spark Dataframe Column
Aus R kommend bin ich es gewohnt, Operationen an Spalten einfach auszuführen. Gibt es eine einfache Möglichkeit, diese Funktion zu nutzen, die ich in scala @ geschrieben hab def round_tenths_place( un_rounded:Double ) : Double = { val rounded ...
Wie vermeide ich doppelte Spalten nach dem Join?
Ich habe zwei Datenrahmen mit den folgenden Spalten: df1.columns // Array(ts, id, X1, X2)un df2.columns // Array(ts, id, Y1, Y2)Nachdem ich val df_combined = df1.join(df2, Seq(ts,id))Ich lande mit den folgenden Spalten:Array(ts, id, X1, X2, ...
Starten Sie Play Framework Activator mithilfe eines Skripts unter Mac & Linux neu.
Ich versuche, ein Skript zu entwickeln, mit dem eine auf einem angegebenen Port ausgeführte Aktivierungsinstanz neu gestartet werden kann. Normalerweise führe ich mein Aktivierungsprojekt auf Port 15000 aus und versuche, es mithilfe des Skripts ...
Gradle Scala Plugin als Ergänzung zu addCompilerPlugin in sbt
Was ist der beste Weg, um der scalaCompile-Aufgabe in Gradle ein Scala-Compiler-Plugin hinzuzufügen?