Suchergebnisse für Anfrage "scala"
Spark - Fehler "Eine Master-URL muss in Ihrer Konfiguration festgelegt sein" beim Senden einer App
Ich habe eine Spark-App, die im lokalen Modus problemlos ausgeführt wird, habe jedoch einige Probleme beim Senden an den Spark-Cluster. Die Fehlermeldung lautet wie folgt: 16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage ...
Kafka-Thema in einem Spark-Batch-Job lesen
Ich schreibe einen Spark-Stapeljob (v1.6.0), der aus einem Kafka-Thema liest. Dafür kann ichorg.apache.spark.streaming.kafka.KafkaUtils#createRDD Ich muss jedoch die Offsets für alle Partitionen festlegen und sie auch irgendwo speichern (ZK? ...
Merge Spark gibt CSV-Dateien mit einem einzelnen Header aus
Ich möchte eine Datenverarbeitungs-Pipeline in AWS erstellen, um die verarbeiteten Daten schließlich für maschinelles Lernen zu verwenden. Ich habe ein Scala-Skript, das Rohdaten aus S3 entnimmt, verarbeitet und mit @ in HDFS oder sogar S3 ...
Typesafe Config in Spark
Ich habe in meiner Spark-Anwendung eine Standardkonfiguration definiert, die in @ versteckt issrc/main/resources/reference.conf. Ich benutzeConfigFactory.load(), um die Konfiguration zu erhalten. Wenn ich die Anwendung mit @ starspark-submit es ...
Scala Option [Zukunft [T]] zu Zukunft [Option [T]]
Wie kann ich konvertierenOption[Future[T]] zuFuture[Option[T]] in scala? Ich möchte es verwenden in: val customerAddresses = for { a <- addressDAO.insert(ca.address) // Future[Address] ia <- ca.invoiceAddress.map(addressDAO.insert) ...
Spark Scala: Konvertieren von DataFrame [vector] in DataFrame [f1: Double,…, fn: Double)]
Ich habe gerade Standard Scaler verwendet, um meine Funktionen für eine ML-Anwendung zu normalisieren. Nachdem ich die skalierten Features ausgewählt habe, möchte ich diese zurück in einen Datenrahmen mit Doppelwerten konvertieren, obwohl die ...
Implizite Parameterauflösung für höherwertige Typen
Betrachten Sie den folgenden Code: object foo { trait Bar[Q[_]] implicit object OptionBar extends Bar[Option] def test[T, C[_]](c: C[T])(implicit bar: Bar[C]) = () def main(args: Array[String]) { test(Some(42): Option[Int]) //??? } }Dies ...
So entfernen Sie die Unterliste
Wie kann ich alle Vorkommen einer Unterliste aus einer Liste entfernen, z. B. List(1, 2, 3, 4, 5, 6, 7, 4, 8, 9, 10, 5).removeSubList(4, 5) sollte alle Vorkommen von (4, 5) entfernen (in dieser Reihenfolge!), daher wird @ zurückgegebe List(1, ...
Nicht ganzzahlige IDs in Spark MLlib ALS
Ich würde gerne @ verwend val ratings = data.map(_.split(',') match { case Array(user,item,rate) => Rating(user.toInt,item.toInt,rate.toFloat) }) val model = ALS.train(ratings,rank,numIterations,alpha) Die Benutzerdaten, die ich erhalte, werden ...
In Scala Reflection, Wie erhält man einen generischen Typparameter einer konkreten Unterklasse?
ngenommen, ich habe eine generische Superklasse: class GenericExample[T]( a: String, b: T ) { def fn(i: T): T = b }und eine konkrete Unterklasse: case class Example( a: String, b: Int ) extends GenericExample[Int](a, b)Ich möchte den ...