Suchergebnisse für Anfrage "scala"
So filtern Sie Daten mithilfe von Fensterfunktionen in spark
Ich habe folgende Daten: rowid uid time code 1 1 5 a 2 1 6 b 3 1 7 c 4 2 8 a 5 2 9 c 6 2 9 c 7 2 10 c 8 2 11 a 9 2 12 c Jetzt wollte ich die Daten so filtern, dass ich die Zeilen 6 und 7 entfernen kann, da ich für eine bestimmte UID nur eine ...
Dynamic Code Auswertung in Scala
Was ist der beste Weg, um ein Codefragment in scala einzufügen? so etwas wie eval in Javascript und GroovyScriptEngine. Ich möchte meine Regeln / Berechnungen / Formeln außerhalb der eigentlichen Datenverarbeitungsklasse halten. Ich habe mehr als ...
Enforce Bounded Nat?
Wie kann ich ein @ erzwingeNat das ist<= N? Beispiel def lessThan5(x: NatLT5) = ??? w lessThan5(Nat(4)) würde kompilieren, aberlessThan5(Nat(6)) würde nicht
Type-Parameter in scala
Ich versuche, die Konzepte der Typparameter in Scala zu verstehen. def sum [A] (a:A):A={a} // used single parameter and its working fine, able to pass any data type.Hier def sum[A](a:A,b:A):A={a+b} //declare two arguments <console>:7: error: ...
Scala: So erhalten Sie einen Zeilenbereich in einem Datenrahmen
Ich habe einDataFrame Erstellt von runningsqlContext.read einer Parkettdatei. DasDataFrame besteht aus 300 M Zeilen. Ich muss diese Zeilen als Eingabe für eine andere Funktion verwenden, möchte sie jedoch in kleineren Stapeln ausführen, um ...
Filterfunken / Scala-Datenrahmen, wenn Spalte in Gruppe vorhanden ist
Ich verwende Spark 1.4.0, das habe ich bisher: data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))Die Funktionzündet [https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/functions.html#lit(java.lang.Object)] ...
TCP-Stream verbrauchen und auf einen anderen Sink umleiten (mit Akka Streams)
Ich versuche mit Akka 2.4.3 einen TCP-Stream auf einen anderen Sink umzuleiten / weiterzuleiten. Das Programm sollte einen Server-Socket öffnen, auf eingehende Verbindungen warten und dann den TCP-Stream verbrauchen. Unser Absender erwartet / ...
Spark bester Ansatz Datenrahmen nachschlagen, um die Leistung zu verbessern
Dataframe A (Millionen von Datensätzen) Eine der Spalten lautet create_date, modified_date Dataframe B 500-Datensätze haben Start_Datum und End_Datum Aktueller Ansatz: Select a.*,b.* from a join b on a.create_date between start_date and ...
access-Modifikatoren in Scala mit var und val
Ich bin verwirrt in der Verwendung von var und val in Zugriffsmodifikatoren, Name ist var, daher können wir es ändern, es ist in Ordnung. Aber p ist val, wie wir den p.name = "Fred Flintstone" @ ändern könn scala> class Person(var name: String) ...
type Parameter und numerische Erweiterung
Wie wir wissen, können wir zwei verschiedene @ -Zahlen addieren (subtrahieren / multiplizieren / etcNumeric -Typen und das Ergebnis ist der breitere der beiden Typen, unabhängig von ihrer Reihenfolge. 33F + 9L // Float + Long == Float 33L + 9F ...