Suchergebnisse für Anfrage "scala"

2 die antwort

So filtern Sie Daten mithilfe von Fensterfunktionen in spark

Ich habe folgende Daten: rowid uid time code 1 1 5 a 2 1 6 b 3 1 7 c 4 2 8 a 5 2 9 c 6 2 9 c 7 2 10 c 8 2 11 a 9 2 12 c Jetzt wollte ich die Daten so filtern, dass ich die Zeilen 6 und 7 entfernen kann, da ich für eine bestimmte UID nur eine ...

4 die antwort

Dynamic Code Auswertung in Scala

Was ist der beste Weg, um ein Codefragment in scala einzufügen? so etwas wie eval in Javascript und GroovyScriptEngine. Ich möchte meine Regeln / Berechnungen / Formeln außerhalb der eigentlichen Datenverarbeitungsklasse halten. Ich habe mehr als ...

2 die antwort

Enforce Bounded Nat?

Wie kann ich ein @ erzwingeNat das ist<= N? Beispiel def lessThan5(x: NatLT5) = ??? w lessThan5(Nat(4)) würde kompilieren, aberlessThan5(Nat(6)) würde nicht

TOP-Veröffentlichungen

4 die antwort

Type-Parameter in scala

Ich versuche, die Konzepte der Typparameter in Scala zu verstehen. def sum [A] (a:A):A={a} // used single parameter and its working fine, able to pass any data type.Hier def sum[A](a:A,b:A):A={a+b} //declare two arguments <console>:7: error: ...

2 die antwort

Scala: So erhalten Sie einen Zeilenbereich in einem Datenrahmen

Ich habe einDataFrame Erstellt von runningsqlContext.read einer Parkettdatei. DasDataFrame besteht aus 300 M Zeilen. Ich muss diese Zeilen als Eingabe für eine andere Funktion verwenden, möchte sie jedoch in kleineren Stapeln ausführen, um ...

4 die antwort

Filterfunken / Scala-Datenrahmen, wenn Spalte in Gruppe vorhanden ist

Ich verwende Spark 1.4.0, das habe ich bisher: data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))Die Funktionzündet [https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/functions.html#lit(java.lang.Object)] ...

2 die antwort

TCP-Stream verbrauchen und auf einen anderen Sink umleiten (mit Akka Streams)

Ich versuche mit Akka 2.4.3 einen TCP-Stream auf einen anderen Sink umzuleiten / weiterzuleiten. Das Programm sollte einen Server-Socket öffnen, auf eingehende Verbindungen warten und dann den TCP-Stream verbrauchen. Unser Absender erwartet / ...

4 die antwort

Spark bester Ansatz Datenrahmen nachschlagen, um die Leistung zu verbessern

Dataframe A (Millionen von Datensätzen) Eine der Spalten lautet create_date, modified_date Dataframe B 500-Datensätze haben Start_Datum und End_Datum Aktueller Ansatz: Select a.*,b.* from a join b on a.create_date between start_date and ...

4 die antwort

access-Modifikatoren in Scala mit var und val

Ich bin verwirrt in der Verwendung von var und val in Zugriffsmodifikatoren, Name ist var, daher können wir es ändern, es ist in Ordnung. Aber p ist val, wie wir den p.name = "Fred Flintstone" @ ändern könn scala> class Person(var name: String) ...

2 die antwort

type Parameter und numerische Erweiterung

Wie wir wissen, können wir zwei verschiedene @ -Zahlen addieren (subtrahieren / multiplizieren / etcNumeric -Typen und das Ergebnis ist der breitere der beiden Typen, unabhängig von ihrer Reihenfolge. 33F + 9L // Float + Long == Float 33L + 9F ...