Suchergebnisse für Anfrage "apache-spark"

0 die antwort

Aufgabe nicht serialisierbar bei Verwendung von Objekt in REPL

Also, eine andere SO-Frage veranlasste mich, Folgendes zu versuchen: object Foo{ def f = 1 } sc.parallelize(List(1)).map(x=>{ val myF = Foo.f _ x + myF() }Was funktioniert, aber das Folgende funktioniert nicht: object Foo{ def f = 1 def ...

2 die antwort

Spark MLlib - trainImplizite Warnung

Ich sehe diese Warnungen immer wieder, wenn ich @ benuttrainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB.Und dann beginnt die Taskgröße zuzunehmen. Ich habe ...

4 die antwort

how mit Fehler SPARK-5063 in Funken umgehen

Ich erhalte die Fehlermeldung SPARK-5063 in der Zeile println val d.foreach{x=> for(i<-0 until x.length) println(m.lookup(x(i)))}d istRDD[Array[String]] m istRDD[(String, String)]. Gibt es eine Möglichkeit, so zu drucken, wie ich es möchte? oder ...

TOP-Veröffentlichungen

4 die antwort

Ist es möglich, verschachtelte RDDs in Apache Spark zu erstellen?

Ich versuche, einen K-Nearest-Neighbour-Algorithmus in Spark zu implementieren. Ich habe mich gefragt, ob es möglich ist, mit verschachtelten RDDs zu arbeiten. Dies wird mein Leben viel einfacher machen. Betrachten Sie das ...

2 die antwort

submit .py-Skript für Spark ohne Hadoop-Installation

Ich habe das folgende einfache Wordcount-Python-Skript. from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("My App") sc = SparkContext(conf = conf) from operator import add ...

2 die antwort

wie man RDD.treeAggregate interpretiert

Ich bin ... über den Weg gelaufendiese Lini [https://github.com/apache/spark/blob/01f09b161217193b797c8c85969d17054c958615/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L236-L248] in der Apache ...

6 die antwort

Pyspark py4j PickleException: "erwartete keine Argumente für die Erstellung von ClassDict"

Diese Frage richtet sich an Personen, die mit py4j vertraut sind - und kann zur Behebung eines Beizfehlers beitragen. Ich versuche, dem Pyspark PythonMLLibAPI eine Methode hinzuzufügen, die eine RDD eines namedtuple akzeptiert, etwas Arbeit ...

8 die antwort

Apache Spark: Durch das Festlegen von Executor-Instanzen werden die Executors nicht geändert.

Ich habe eine Apache Spark-Anwendung, die im Cluster-Modus auf einem YARN-Cluster ausgeführt wird (der Spark hat 3 Knoten in diesem Cluster). Wenn die Anwendung ausgeführt wird, zeigt die Spark-UI, dass auf dem dritten Knoten zwei Ausführer (die ...

12 die antwort

Wie entferne ich Klammern um Datensätze, wenn ich saveAsTextFile auf RDD [(String, Int)] speichere?

Ich benutzesaveAsTextFile(path), um die Ausgabe später als Textdatei zu speichern und das Ergebnis in die Datenbank zu importieren. Die Ausgabe sieht ungefähr so aus: (value1, value2)Wie entferne ich die Klammern?

12 die antwort

joda DateTime-Format verursacht einen Nullzeigerfehler in den RDD-Funktionen des Funkens

Die Ausnahmemeldung lautet wie folgt User-Klasse hat eine Ausnahme ausgelöst: Job abgebrochen aufgrund eines Phasenfehlers: Task 0 in Phase 1.0 ist viermal fehlgeschlagen, letzter Fehler: Task 0.3 in Phase 1.0 verloren (TID 11, ...