Suchergebnisse für Anfrage "apache-spark"
Cassandra Speicher intern
Ich versuche zu verstehen, was intern auf Speicherengine-Ebene genau passiert, wenn eine Zeile (Spalten) in eine CQL-Stiltabelle eingefügt wird. CREATE TABLE log_date ( userid bigint, time timeuuid, category text, subcategory text, itemid text, ...
Wie löse ich SPARK-5063 in verschachtelten Kartenfunktionen?
RDD-Transformationen und -Aktionen können nur vom Treiber aufgerufen werden, nicht innerhalb anderer Transformationen. Beispiel: rdd1.map (x => rdd2.values.count () * x) ist ungültig, da die Wertetransformation und die Zählaktion nicht innerhalb ...
Wie berechnet man die Inverse einer RowMatrix in Apache Spark?
Ich habe eine X-verteilte Matrix in RowMatrix-Form. Ich benutze Spark 1.3.0. Ich muss in der Lage sein, die X-Inverse zu berechnen.
UnsatisfiedLinkError: kein snappyjava in java.library.path beim Ausführen des Spark MLLib Unit-Tests in Intellij
Die folgende Ausnahme tritt auf, wenn ein Funkeneinheitentest ausgeführt wird, bei dem eine schnelle Komprimierung erforderlich ist: java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ...
Wie wandle ich eine kategoriale Variable in Spark in eine Reihe von Spalten um, die mit {0,1} codiert sind?
Ich versuche, eine logistische Regression (LogisticRegressionWithLBFGS) mit Spark MLlib (mit Scala) für einen Datensatz durchzuführen, der kategoriale Variablen enthält. Ich stelle fest, dass Spark nicht in der Lage war, mit solchen Variablen zu ...
java.lang.NoSuchMethodError Jackson-Datenbindung und Spark
Ich versuche, Spark-Submit mit Spark 1.1.0 und Jackson 2.4.4 auszuführen. Ich habe Scala-Code, der Jackson verwendet, um JSON in Fallklassen zu de-serialisieren. Das funktioniert von alleine ganz gut, aber wenn ich es mit spark benutze, bekomme ...
Apache Spark löscht keine temporären Verzeichnisse
Nach Abschluss eines Spark-Programms verbleiben 3 temporäre Verzeichnisse im temporären Verzeichnis. Die Verzeichnisnamen lauten wie folgt: spark-2e389487-40cc-4a82-a5c7-353c0feefbb7 Die Verzeichnisse sind leer. Und wenn das Spark-Programm ...
reduceByKey: Wie funktioniert es intern?
Ich bin neu bei Spark und Scala. Ich war verwirrt darüber, wie die Funktion reductByKey in Spark funktioniert. Angenommen, wir haben den folgenden Code: val lines = sc.textFile("data.txt") val pairs = lines.map(s => (s, 1)) val counts = ...
Wie gehe ich mit der Exception in spark map () um?
Ich möchte die Ausnahme in der map () -Funktion ignorieren, zum Beispiel: rdd.map(_.toInt)where rdd ist einRDD[String]. , aber wenn es eine Nicht-Zahlen-Zeichenfolge erfüllt, schlägt dies fehl. Was ist der einfachste Weg, um eine Ausnahme zu ...
Spark RDD erstellen auf S3-Datei
Ich versuche, JAVARDD in einer s3-Datei zu erstellen, kann aber keine rdd erstellen. Kann mir jemand bei der Lösung dieses Problems helfen? Code: SparkConf conf = new SparkConf().setAppName(appName).setMaster("local"); JavaSparkContext ...