Suchergebnisse für Anfrage "scala"
DataFrame in RDD konvertieren [Map] in Scala
Ich möchte ein Array konvertieren, das wie folgt erstellt wurde: case class Student(name: String, age: Int) val dataFrame: DataFrame = sql.createDataFrame(sql.sparkContext.parallelize(List(Student("Torcuato", 27), Student("Rosalinda", 34))))Wenn ...
Wie konvertiere ich Option [Try [_]] in Try [Option [_]]?
Ich benutze die folgende Funktion ziemlich oft, um @ zu konvertierOption[Try[_]] zuTry[Option[_]] aber es fühlt sich falsch an. Kann eine solche Funktionalität auf mehr idiomatische Weise ausgedrückt werden? def swap[T](optTry: Option[Try[T]]): ...
Was ist das Motiv für Chained Package-Klauseln in Scala?
Chained-Package-Klausel wurde in Scala 2.8 eingeführt, wie von Martin Odersky auf der Scala @ beschriebeSeite? ˅ [http://www.scala-lang.org/docu/files/package-clauses/packageclauses.html]. Ich verstehe die Intuition dahinter nicht ...
Anzahl der CPUs pro Task in Spark
Ich verstehe nicht ganzspark.task.cpus Parameter. Mir scheint, dass eine "Aufgabe" einem "Thread" oder einem "Prozess" innerhalb des Executors entspricht. Angenommen, ich setze "spark.task.cpus" auf 2. Wie kann ein Thread zwei CPUs gleichzeitig ...
spark in Windows fehlgeschlagen: <Konsole>: 16: Fehler: nicht gefunden: Wert sqlContext
Ich installiere spark unter Windows, aber es konnte nicht ausgeführt werden. Der folgende Fehler wird angezeigt: <console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console>:16: error: not found: value sqlContext ...
Starten Sie HiveThriftServer programmgesteuert in Python
n der Spark-Shell (Scala) importieren wir org.apache.spark.sql.hive.thriftserver._, um Hive Thrift Server programmgesteuert für einen bestimmten Hive-Kontext als HiveThriftServer2.startWithContext (hiveContext) zu starten und eine registrierte ...
Wie ändere ich einen Spark-Datenrahmen mit einer komplexen verschachtelten Struktur?
Ich habe eine komplexe DataFrame-Struktur und möchte eine Spalte einfach auf null setzen. Ich habe implizite Klassen erstellt, die Funktionen verknüpfen und auf einfache Weise 2D-DataFrame-Strukturen ansprechen, aber sobald der DataFrame mit ...
Wie kann man zwei DataFrames in Scala und Apache Spark verbinden?
Es gibt zwei DataFrames (Scala, Apache Spark 1.6.1) 1) Übereinstimmungen MatchID | Player1 | Player2 -------------------------------- 1 | John Wayne | John Doe 2 | Ive Fish | San Simon 2) Persönliche Daten Player | BirthYear ...
Spark: Task für UDF in DataFrame nicht serialisierbar
Ich bekommeorg.apache.spark.SparkException: Task not serializable Wenn ich versuche, Folgendes auf Spark 1.4.1 auszuführen: import java.sql.{Date, Timestamp} import java.text.SimpleDateFormat object ConversionUtils { val iso8601 = ...
Iterator.continually: Ausdruck in Scala REPL kann nicht ausgewertet werden
Hat jemand eine Idee / Erklärung, warum REPL bei der Auswertung des letzten Ausdrucks hängen bleibt? Das Seltsame ist, dass es keine Ausnahmen oder irgendetwas auslöst, nur, dass nichts passiert. Welcome to Scala version 2.11.6 (Java ...