Suchergebnisse für Anfrage "scala"
Spark Row zu JSON
Ich möchte einen JSON aus einem Spark-v.1.6-Datenrahmen (unter Verwendung von Scala) erstellen. Ich weiß, dass es die einfache Lösung gibt, @ zu tdf.toJSON. Allerdings sieht mein Problem etwas anders aus. Betrachten Sie beispielsweise einen ...
Wie transponiere ich Datenrahmen in Spark 1.5 (kein Pivot-Operator verfügbar)?
Ich möchte folgende Tabelle mit Spark-Scala ohne Pivot-Funktion transponieren Ich verwende Spark 1.5.1 und die Pivot-Funktion wird in 1.5.1 nicht unterstützt. Bitte schlagen Sie eine geeignete Methode zur Umsetzung der folgenden Tabelle ...
Beenden der Spark-Shell aus dem Scala-Skript
Ich verwende diesen Befehl, um Scala-Skripte auszuführen. spark-shell -i test.scalam Ende der Ausführung des Skripts wird immer noch die Spark-Shell ausgeführt. Ich habe ": q /: quit" im Skript test.scala verwendet, um zu versuchen, ...
Wie liest man in Scala eine einfache CSV-Datei mit einem Header in der ersten Zeile?
Die Aufgabe besteht darin, in einer einfachen CSV-Datei nach einem bestimmten Feldwert (anhand der Zahl in der Zeile) anhand eines Schlüsselfeldwerts zu suchen (nur Kommas als Trennzeichen, keine feldumschließenden Anführungszeichen, niemals ein ...
Wie erkenne ich, ob ein Spark-DataFrame eine Spalte @ ha
Wenn ich ein @ erstelDataFrameie kann ich in einer JSON-Datei in Spark SQL feststellen, ob eine bestimmte Spalte vorhanden ist, bevor ich @ aufruf.select Beispiel JSON-Schema: { "a": { "b": 1, "c": 2 } }Das ist, was ich tun ...
Warum verzögert das Umschließen eines generischen Methodenaufrufs mit Option die ClassCastException?
Sagen wir, ich habe ein Array wie dieses *: val foo: Any = 1 : Int Option(foo.asInstanceOf[String]) was aus offensichtlichen Gründen fehlschlägt: // java.lang.ClassCastException: java.lang.Integer cannot be cast to // java.lang.String // ... ...
Summenwerte von PairRDD
Ich habe eine RDD vom Typ: dataset :org.apache.spark.rdd.RDD[(String, Double)] = MapPartitionRDD[26]Was entspricht(Pedro, 0.0833), (Hello, 0.001828) ... Ich möchte alles zusammenfassen, den Wert,0.0833+0.001828.. aber ich kann keine richtige ...
Kann Java einen kompilierten Scala-Code ausführen?
Can commandjava einen kompilierten Scala-Code ausführen? Wenn ja, warum haben wir einen exklusiven Befehlscala?
Verwendet SBT den Fast Scala Compiler (fsc)?
Nutzt SBT fsc? Zu Testzwecken kompiliere ich ein Programm mit 500 Zeilen auf einem relativ langsamen Ubuntu-Rechner (Atom N270). Drei aufeinanderfolgende Kompilierungszeiten waren 77s, 66s und 66s. Ich habe die Datei dann mit @ kompiliefsc ...
Scala-Spark Groupby dynamisch aufrufen und mit Parameterwerten agg
Ich möchte eine benutzerdefinierte Gruppierungs- und Aggregatfunktion schreiben, um benutzerdefinierte Spaltennamen und benutzerdefinierte Aggregationszuordnungen abzurufen.Ich kenne die Spaltennamen und die Aggregationszuordnung nicht im Voraus. ...