Suchergebnisse für Anfrage "scala"
Neue Daten an partitionierte Parkettdateien anhängen
Ich schreibe einen ETL-Prozess, in dem ich stündliche Protokolldateien lesen, die Daten partitionieren und speichern muss. Ich benutze Spark (in Databricks). Die Protokolldateien sind CSV-Dateien, daher lese ich sie und wende ein Schema an. ...
Wie definiere ich "Typdisjunktion" (Unionstypen)?
uf eine Weise, die @ hwurde vorgeschlagen [https://stackoverflow.com/questions/3422336/how-can-i-differentiate-between-def-fooaxs-a-and-def-fooa-bxs-a-b/3424314#3424314] mit doppelten Definitionen überladener Methoden umzugehen, bedeutet, ...
Spark-Jobs werden beendet, aber das Schließen der Anwendung dauert einige Zeit.
Erwartet, dass ein Spark-Job unter Verwendung von Scala ausgeführt wird. Alle Jobs werden pünktlich beendet. Einige INFO-Protokolle werden jedoch 20 bis 25 Minuten lang gedruckt, bevor der Job beendet wird. Veröffentlichung weniger ...
Wie kann ich einen Integrationstest mit Slick 3 + Specs2 rückgängig machen?
Ich möchte einige Integrationstests für einen Dienst schreiben, der glatt läuft, und anschließend eine postgresql-Datenbank bereinigen, indem ich eine Transaktion rückgängig mache, aber ich sehe keine Möglichkeit, dies zu tun. Ich verstehe, dass ...
Scala: Füllen Sie die Lücken in einer Liste mit dem letzten nicht leeren Wert
Ich habe eine Liste wie: val arr = Array("a", "", "", "b", "c", "")Ich suche nach einer Möglichkeit zum Erstellen: Array("a", "a", "a", "b", "c", "c")
RDD aufteilen und Aggregation für neue RDDs durchführen
Ich habe eine RDD von(String,String,Int). Ich möchte es basierend auf den ersten beiden Zeichenfolgen reduzierenUnd dann basierend auf dem ersten String möchte ich den (String, Int) gruppieren und sortierenNach dem Sortieren muss ich sie in ...
Wie kann ich Schlüssel-Wert-Paare erstellen?
Ich habe benutztgroupByKey auf meine Schlüssel-Wert-Paare. Jetzt habe ich das (Schlüssel, Iterable). Ich möchte diese Schlüssel-Wert-Paare daraus machen: ((Schlüssel, (ein Element der Liste)), 1) für alle Liste v. Wie kann ich das machen? Wie ...
Spark: Spalte bedingt zu Datenrahmen hinzufügen
Ich versuche meine Eingabedaten zu übernehmen: A B C -------------- 4 blah 2 2 3 56 foo 3Und fügen Sie am Ende eine Spalte hinzu, je nachdem, ob B leer ist oder nicht: A B C D -------------------- 4 blah 2 1 2 3 0 56 foo 3 1Ich kann dies ...
Scala: Warum kann ich Int in Unit umrechnen?
Ich habe kürzlich angefangen, mit Scala (2.8) zu spielen, und festgestellt, dass ich den folgenden Code (im Scala-Interpreter) schreiben kann: scala> var x : Unit = 10 x : Unit = () Es ist nicht klar was da los ist. Ich hatte wirklich keine ...
Spark + Scala-Transformationen, Unveränderlichkeit und Overheads beim Speicherverbrauch
Ich habe in Youtube einige Videos zu @ durchgeseheFunk [https://www.youtube.com/watch?v=65aV15uDKgA] die Architektur uch wenn eine langsame Auswertung, die Ausfallsicherheit der Datenerstellung im Fehlerfall und gute funktionale ...