Suchergebnisse für Anfrage "scala"
Wie kann ich ein RDD in HDFS speichern und später wieder einlesen?
Ich habe eine RDD, deren Elemente vom Typ (Long, String) sind. Aus irgendeinem Grund möchte ich die gesamte RDD im HDFS speichern und diese RDD später auch wieder in einem Spark-Programm lesen. Ist das möglich? Und wenn ja, wie?
Wie speichere ich einen DataFrame als komprimierte (gezippte) CSV?
Ich benutze Spark 1.6.0 und Scala. Ich möchte einen DataFrame als komprimiertes CSV-Format speichern. Hier ist das, was ich bisher habe (nehme an, ich habe bereitsdf undsc wieSparkContext): //set the conf to the codec I ...
Wie verwende ich die Schlüsselwörter LEFT und RIGHT in SPARK SQL?
Ich bin neu, um SQL auszulösen, n MS SQL haben wir das Schlüsselwort LEFT,LEFT(Columnname,1) in('D','A') then 1 else 0. Wie Sie dasselbe in SPARK SQL implementieren. Bitte führen Sie mich
FPgrowth Computerverband in Pyspark vs Scala
Mit : http: //spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.htm [http://spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.html] Python-Code: from pyspark.mllib.fpm import FPGrowth model = ...
Unterschied zwischen dem ClassTag und dem TypeTag der Waage
Gemäß Scala Doc doc TypeTag enthält mehr Informationen als ClassTag. Es scheint mir, dass TypeTag mehr kann als ClassTag, wie die Typparameterinformationen der Kompilierungszeit zur Laufzeit zu bringen, usw. Das folgende Beispiel zeigt jedoch, ...
Splitting Reihe in mehrere Reihen in Funkenschale
Ich habe Daten in Spark-Datenrahmen in Spark-Shell importiert. Daten werden wie folgt eingegeben: Col1 | Col2 | Col3 | Col4 A1 | 11 | B2 | a|b;1;0xFFFFFF A1 | 12 | B1 | 2 A2 | 12 | B2 | 0xFFF45BHier in Spalte 4 sind die Werte von ...
Wie man externe JAR-Funktionen in der Spark-Shell ausführt
Ich habe ein JAR-Paket aus einem Projekt mit diesem Dateibaum erstellt: build.sbt src/main src/main/scala src/main/scala/Tester.scala src/main/scala/main.scalawhere Tester ist eine Klasse von einer Funktion (Name ist print ()) und main hat ein ...
Wie schneide und summiere ich Elemente einer Array-Spalte?
Ich würde gernesum (oder führen Sie auch andere Aggregatfunktionen aus) für die Array-Spalte mit SparkSQL. Ich habe eine Tabelle als +-------+-------+---------------------------------+ |dept_id|dept_nm| emp_details| ...
Spark SQL - IN-Klausel
Ich möchte die where-Bedingung für eine Spalte mit mehreren Werten in DataFrame hinzufügen. Ist zum Beispiel für einen einzelnen Wert. df.where($"type".==="type1" && $"status"==="completed").Wie kann ich mehrere Werte für dieselbe Spalte wie ...
Spark: saveAsTextFile ohne Komprimierung
Standardmäßig verwenden neuere Versionen von Spark beim Speichern von Textdateien die Komprimierung. Beispielsweise val txt = sc.parallelize(List("Hello", "world", "!")) txt.saveAsTextFile("/path/to/output") erzeugt Dateien in.deflate Format. ...