Suchergebnisse für Anfrage "apache-spark"

2 die antwort

Cassandra Speicher intern

Ich versuche zu verstehen, was intern auf Speicherengine-Ebene genau passiert, wenn eine Zeile (Spalten) in eine CQL-Stiltabelle eingefügt wird. CREATE TABLE log_date ( userid bigint, time timeuuid, category text, subcategory text, itemid text, ...

6 die antwort

Wie löse ich SPARK-5063 in verschachtelten Kartenfunktionen?

RDD-Transformationen und -Aktionen können nur vom Treiber aufgerufen werden, nicht innerhalb anderer Transformationen. Beispiel: rdd1.map (x => rdd2.values.count () * x) ist ungültig, da die Wertetransformation und die Zählaktion nicht innerhalb ...

6 die antwort

Wie berechnet man die Inverse einer RowMatrix in Apache Spark?

Ich habe eine X-verteilte Matrix in RowMatrix-Form. Ich benutze Spark 1.3.0. Ich muss in der Lage sein, die X-Inverse zu berechnen.

TOP-Veröffentlichungen

8 die antwort

UnsatisfiedLinkError: kein snappyjava in java.library.path beim Ausführen des Spark MLLib Unit-Tests in Intellij

Die folgende Ausnahme tritt auf, wenn ein Funkeneinheitentest ausgeführt wird, bei dem eine schnelle Komprimierung erforderlich ist: java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ...

8 die antwort

Wie wandle ich eine kategoriale Variable in Spark in eine Reihe von Spalten um, die mit {0,1} codiert sind?

Ich versuche, eine logistische Regression (LogisticRegressionWithLBFGS) mit Spark MLlib (mit Scala) für einen Datensatz durchzuführen, der kategoriale Variablen enthält. Ich stelle fest, dass Spark nicht in der Lage war, mit solchen Variablen zu ...

10 die antwort

java.lang.NoSuchMethodError Jackson-Datenbindung und Spark

Ich versuche, Spark-Submit mit Spark 1.1.0 und Jackson 2.4.4 auszuführen. Ich habe Scala-Code, der Jackson verwendet, um JSON in Fallklassen zu de-serialisieren. Das funktioniert von alleine ganz gut, aber wenn ich es mit spark benutze, bekomme ...

12 die antwort

Apache Spark löscht keine temporären Verzeichnisse

Nach Abschluss eines Spark-Programms verbleiben 3 temporäre Verzeichnisse im temporären Verzeichnis. Die Verzeichnisnamen lauten wie folgt: spark-2e389487-40cc-4a82-a5c7-353c0feefbb7 Die Verzeichnisse sind leer. Und wenn das Spark-Programm ...

8 die antwort

reduceByKey: Wie funktioniert es intern?

Ich bin neu bei Spark und Scala. Ich war verwirrt darüber, wie die Funktion reductByKey in Spark funktioniert. Angenommen, wir haben den folgenden Code: val lines = sc.textFile("data.txt") val pairs = lines.map(s => (s, 1)) val counts = ...

4 die antwort

Wie gehe ich mit der Exception in spark map () um?

Ich möchte die Ausnahme in der map () -Funktion ignorieren, zum Beispiel: rdd.map(_.toInt)where rdd ist einRDD[String]. , aber wenn es eine Nicht-Zahlen-Zeichenfolge erfüllt, schlägt dies fehl. Was ist der einfachste Weg, um eine Ausnahme zu ...

2 die antwort

Spark RDD erstellen auf S3-Datei

Ich versuche, JAVARDD in einer s3-Datei zu erstellen, kann aber keine rdd erstellen. Kann mir jemand bei der Lösung dieses Problems helfen? Code: SparkConf conf = new SparkConf().setAppName(appName).setMaster("local"); JavaSparkContext ...