Suchergebnisse für Anfrage "apache-spark"
Aufgabe nicht serialisierbar bei Verwendung von Objekt in REPL
Also, eine andere SO-Frage veranlasste mich, Folgendes zu versuchen: object Foo{ def f = 1 } sc.parallelize(List(1)).map(x=>{ val myF = Foo.f _ x + myF() }Was funktioniert, aber das Folgende funktioniert nicht: object Foo{ def f = 1 def ...
Spark MLlib - trainImplizite Warnung
Ich sehe diese Warnungen immer wieder, wenn ich @ benuttrainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB.Und dann beginnt die Taskgröße zuzunehmen. Ich habe ...
how mit Fehler SPARK-5063 in Funken umgehen
Ich erhalte die Fehlermeldung SPARK-5063 in der Zeile println val d.foreach{x=> for(i<-0 until x.length) println(m.lookup(x(i)))}d istRDD[Array[String]] m istRDD[(String, String)]. Gibt es eine Möglichkeit, so zu drucken, wie ich es möchte? oder ...
Ist es möglich, verschachtelte RDDs in Apache Spark zu erstellen?
Ich versuche, einen K-Nearest-Neighbour-Algorithmus in Spark zu implementieren. Ich habe mich gefragt, ob es möglich ist, mit verschachtelten RDDs zu arbeiten. Dies wird mein Leben viel einfacher machen. Betrachten Sie das ...
submit .py-Skript für Spark ohne Hadoop-Installation
Ich habe das folgende einfache Wordcount-Python-Skript. from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("My App") sc = SparkContext(conf = conf) from operator import add ...
wie man RDD.treeAggregate interpretiert
Ich bin ... über den Weg gelaufendiese Lini [https://github.com/apache/spark/blob/01f09b161217193b797c8c85969d17054c958615/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L236-L248] in der Apache ...
Pyspark py4j PickleException: "erwartete keine Argumente für die Erstellung von ClassDict"
Diese Frage richtet sich an Personen, die mit py4j vertraut sind - und kann zur Behebung eines Beizfehlers beitragen. Ich versuche, dem Pyspark PythonMLLibAPI eine Methode hinzuzufügen, die eine RDD eines namedtuple akzeptiert, etwas Arbeit ...
Apache Spark: Durch das Festlegen von Executor-Instanzen werden die Executors nicht geändert.
Ich habe eine Apache Spark-Anwendung, die im Cluster-Modus auf einem YARN-Cluster ausgeführt wird (der Spark hat 3 Knoten in diesem Cluster). Wenn die Anwendung ausgeführt wird, zeigt die Spark-UI, dass auf dem dritten Knoten zwei Ausführer (die ...
Wie entferne ich Klammern um Datensätze, wenn ich saveAsTextFile auf RDD [(String, Int)] speichere?
Ich benutzesaveAsTextFile(path), um die Ausgabe später als Textdatei zu speichern und das Ergebnis in die Datenbank zu importieren. Die Ausgabe sieht ungefähr so aus: (value1, value2)Wie entferne ich die Klammern?
joda DateTime-Format verursacht einen Nullzeigerfehler in den RDD-Funktionen des Funkens
Die Ausnahmemeldung lautet wie folgt User-Klasse hat eine Ausnahme ausgelöst: Job abgebrochen aufgrund eines Phasenfehlers: Task 0 in Phase 1.0 ist viermal fehlgeschlagen, letzter Fehler: Task 0.3 in Phase 1.0 verloren (TID 11, ...