Suchergebnisse für Anfrage "scala"

26 die antwort

Spark - Fehler "Eine Master-URL muss in Ihrer Konfiguration festgelegt sein" beim Senden einer App

Ich habe eine Spark-App, die im lokalen Modus problemlos ausgeführt wird, habe jedoch einige Probleme beim Senden an den Spark-Cluster. Die Fehlermeldung lautet wie folgt: 16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage ...

2 die antwort

Kafka-Thema in einem Spark-Batch-Job lesen

Ich schreibe einen Spark-Stapeljob (v1.6.0), der aus einem Kafka-Thema liest. Dafür kann ichorg.apache.spark.streaming.kafka.KafkaUtils#createRDD Ich muss jedoch die Offsets für alle Partitionen festlegen und sie auch irgendwo speichern (ZK? ...

10 die antwort

Merge Spark gibt CSV-Dateien mit einem einzelnen Header aus

Ich möchte eine Datenverarbeitungs-Pipeline in AWS erstellen, um die verarbeiteten Daten schließlich für maschinelles Lernen zu verwenden. Ich habe ein Scala-Skript, das Rohdaten aus S3 entnimmt, verarbeitet und mit @ in HDFS oder sogar S3 ...

TOP-Veröffentlichungen

0 die antwort

Typesafe Config in Spark

Ich habe in meiner Spark-Anwendung eine Standardkonfiguration definiert, die in @ versteckt issrc/main/resources/reference.conf. Ich benutzeConfigFactory.load(), um die Konfiguration zu erhalten. Wenn ich die Anwendung mit @ starspark-submit es ...

12 die antwort

Scala Option [Zukunft [T]] zu Zukunft [Option [T]]

Wie kann ich konvertierenOption[Future[T]] zuFuture[Option[T]] in scala? Ich möchte es verwenden in: val customerAddresses = for { a <- addressDAO.insert(ca.address) // Future[Address] ia <- ca.invoiceAddress.map(addressDAO.insert) ...

4 die antwort

Spark Scala: Konvertieren von DataFrame [vector] in DataFrame [f1: Double,…, fn: Double)]

Ich habe gerade Standard Scaler verwendet, um meine Funktionen für eine ML-Anwendung zu normalisieren. Nachdem ich die skalierten Features ausgewählt habe, möchte ich diese zurück in einen Datenrahmen mit Doppelwerten konvertieren, obwohl die ...

4 die antwort

Implizite Parameterauflösung für höherwertige Typen

Betrachten Sie den folgenden Code: object foo { trait Bar[Q[_]] implicit object OptionBar extends Bar[Option] def test[T, C[_]](c: C[T])(implicit bar: Bar[C]) = () def main(args: Array[String]) { test(Some(42): Option[Int]) //??? } }Dies ...

6 die antwort

So entfernen Sie die Unterliste

Wie kann ich alle Vorkommen einer Unterliste aus einer Liste entfernen, z. B. List(1, 2, 3, 4, 5, 6, 7, 4, 8, 9, 10, 5).removeSubList(4, 5) sollte alle Vorkommen von (4, 5) entfernen (in dieser Reihenfolge!), daher wird @ zurückgegebe List(1, ...

2 die antwort

Nicht ganzzahlige IDs in Spark MLlib ALS

Ich würde gerne @ verwend val ratings = data.map(_.split(',') match { case Array(user,item,rate) => Rating(user.toInt,item.toInt,rate.toFloat) }) val model = ALS.train(ratings,rank,numIterations,alpha) Die Benutzerdaten, die ich erhalte, werden ...

4 die antwort

In Scala Reflection, Wie erhält man einen generischen Typparameter einer konkreten Unterklasse?

ngenommen, ich habe eine generische Superklasse: class GenericExample[T]( a: String, b: T ) { def fn(i: T): T = b }und eine konkrete Unterklasse: case class Example( a: String, b: Int ) extends GenericExample[Int](a, b)Ich möchte den ...