Suchergebnisse für Anfrage "scala"
Spark 1.5.1, Cassandra Connector 1.5.0-M2, Cassandra 2.1, Scala 2.10, NoSuchMethodError-Guavenabhängigkeit
Neu in der Spark-Umgebung (und ziemlich neu für Maven), daher habe ich Probleme damit, die Abhängigkeiten, die ich benötige, richtig zu senden. Es sieht so aus, als hätte Spark 1.5.1 eine Guava-14.0.1-Abhängigkeit, die es zu verwenden versucht, ...
Wie wird die erste Zeile jeder Gruppe ausgewählt?
Ich habe einen DataFrame wie folgt generiert: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Die Ergebnisse sehen so aus: +----+--------+----------+ |Hour|Category|TotalValue| ...
Wie definiere ich eine benutzerdefinierte Aggregationsfunktion, um eine Vektorspalte zu summieren?
Ich habe einen DataFrame mit zwei Spalten,ID vom TypInt undVec vom TypVector (org.apache.spark.mllib.linalg.Vector). Der DataFrame sieht folgendermaßen aus: ID,Vec 1,[0,0,5] 1,[4,0,1] 1,[1,2,1] 2,[7,5,0] 2,[3,3,4] 3,[0,8,1] 3,[0,0,1] 3,[7,7,7] ...
SBT sourceGenerators task - wird nur ausgeführt, wenn sich eine Datei ändert
In meinem SBT-Projekt habe ich eine Eingabedateisrc/main/greeting/Greeting.txt mit folgendem Inhalt: Hello, world!Das ist meinbuild.sbt das Scala-Quellcode aus dem @ generieGreeting.txt Datei sourceGenerators in Compile += Def.task{ ...
Rang einer Zeile berechnen
Ich möchte die Benutzer-ID anhand eines Feldes bewerten. Für den gleichen Wert des Feldes sollte der Rang gleich sein. Diese Daten befinden sich in der Hive-Tabelle. z.B user value a 5 b 10 c 5 d 6 Rank a - 1 c - 1 d - 3 b - 4Wie kann ich das ...
Akka TCP Client: Wie kann ich mit akka actor @ eine Nachricht über TCP sende
Ich möchte Textnachrichten über TCP senden. Ziemlich einfach. Das möchte ich mit akka machen. Ich habe diesen Artikel über akka IO ...
Wie können Sie eine generische Factory-Methode erben?
Sagen Sie, Sie haben eine Klasse Person und erstellen eine Sammlungsklasse dafür, indem Sie z. ArrayBuffer: class Persons extends ArrayBuffer[Person] { // methods operation on the collection }Now kann mit ArrayBuffer eine Sammlung mit der ...
Spark, Scala, DataFrame: Feature-Vektoren erstellen
Ich habe einDataFrame das sieht aus wie folgt: userID, category, frequency 1,cat1,1 1,cat2,3 1,cat9,5 2,cat4,6 2,cat9,2 2,cat10,1 3,cat1,5 3,cat7,16 3,cat8,2 Die Anzahl der unterschiedlichen Kategorien beträgt 10, und ich möchte für jedes @ ...
So filtern Sie in Spark SQL nach Datumsbereich
Ich versuche, den Datumsbereich mithilfe von Datenblöcken aus den folgenden Daten herauszufiltern, die als Antwort null zurückgeben. Meine CSV-Daten sehen so aus: ID, Desc, Week_Ending_Date 100, AAA, 13-06-2015 101, BBB, 11-07-2015 102, ...
Wie kann ich einen Spark-DataFrame aus einem verschachtelten Array von Strukturelementen erstellen?
Ich habe eine JSON-Datei in Spark eingelesen. Diese Datei hat folgende Struktur: scala> tweetBlob.printSchema root |-- related: struct (nullable = true) | |-- next: struct (nullable = true) | | |-- href: string (nullable = true) |-- search: ...