Suchergebnisse für Anfrage "apache-spark"
Wie konvertiere ich DataFrame nach Json?
Ich habe eine riesige Json-Datei, einen kleinen Teil davon wie folgt: { "socialNews": [{ "adminTagIds": "", "fileIds": "", "departmentTagIds": "", ........ ........ "comments": [{ "commentId": "", "newsId": "", "entityId": "", .... .... }] }] ...
Erstellen einer Funkendatenstruktur aus einem mehrzeiligen Datensatz
Ich versuche, die Retrosheet-Ereignisdatei in spark einzulesen. Die Ereignisdatei ist so aufgebaut. id,TEX201403310 version,2 info,visteam,PHI info,hometeam,TEX info,site,ARL02 info,date,2014/03/31 info,number,0 info,starttime,1:07PM ...
Fehler beim Starten der Funkenhülle
Ich habe gerade die neueste Version von spark heruntergeladen und als ich die spark-Shell gestartet habe, habe ich den folgenden Fehler erhalten: java.net.BindException: Failed to bind to: /192.168.1.254:0: Service 'sparkDriver' failed after 16 ...
SparkR Fehler in sparkR.init (master = “local”) in RStudio
Ich habe das SparkR-Paket von der Spark-Distribution in die R-Bibliothek installiert. Ich kann den folgenden Befehl aufrufen und es scheint richtig zu funktionieren:library(SparkR) Wenn ich jedoch versuche, den Spark-Kontext mithilfe des ...
Wie kann ich eine große Festplatte effizient mit einer sehr großen Festplatte im Spark verbinden?
Ich habe zwei RDDs. Eine RDD liegt zwischen 5 und 10 Millionen Einträgen und die andere RDD zwischen 500 und 750 Millionen Einträgen. Irgendwann muss ich diese beiden RDDS mit einem gemeinsamen Schlüssel verbinden. val rddA = someData.rdd.map { ...
Erklärung der Faltmethode des Funken RDD
Ich verwende Spark-1.4.0, das für Hadoop-2.4 (im lokalen Modus) vorgefertigt ist, um die Summe der Quadrate einer DoubleRDD zu berechnen. Mein Scala-Code sieht aus wie sc.parallelize(Array(2., 3.)).fold(0.0)((p, v) => p+v*v)nd es gab ...
Spark gibt beim Training mit ALS @ einen StackOverflowError a
Beim Versuch, ein Modell für maschinelles Lernen mit ALS in Spark's MLLib zu trainieren, erhielt ich weiterhin einen StackoverflowError. Hier ist ein kleines Beispiel des Stack-Trace: Traceback (most recent call last): File ...
Nicht in der Lage, einen Akkumulator vom Typ String zu deklarieren
Ich versuche, eine Akkumulatorvariable vom Typ String in der Scala-Shell (Treiber) zu definieren, erhalte jedoch weiterhin den folgenden Fehler: - scala> val myacc = sc.accumulator("Test") <console>:21: error: could not find implicit value for ...
Spark Word2Vec Beispiel mit text8 file
Ich versuche, dieses Beispiel von apache.spark.org aus auszuführen (Code unten und das gesamte Tutorial hier:https: //spark.apache.org/docs/latest/mllib-feature-extraction.htm [https://spark.apache.org/docs/latest/mllib-feature-extraction.html]) ...
Wie erstelle ich einen leeren DataFrame mit einem bestimmten Schema?
Ich möchte erstellen amDataFrame mit einem bestimmten Schema in Scala. Ich habe versucht, JSON read zu verwenden (ich meine, leere Dateien zu lesen), aber ich denke nicht, dass dies die beste Vorgehensweise ist.