Suchergebnisse für Anfrage "apache-spark"
Verteilte Karte in Scala Spark
Unterstützt Spark verteilte Kartensammlungstypen? Wenn ich also eine HashMap [String, String] habe, bei der es sich um Schlüssel- / Wertepaare handelt, kann diese in einen verteilten Map-Auflistungstyp konvertiert werden? Um auf das Element ...
Apache Spark - MlLib - Kollaboratives Filtern
Ich versuche, MlLib für meine kolloborative Filterung zu verwenden. In meinem Scala-Programm tritt der folgende Fehler auf, wenn ich es in Apache Spark 1.0.0 ausführe. 14/07/15 16:16:31 WARN NativeCodeLoader: Unable to load native-hadoop ...
Spark Streaming Akkumulierte Wortzahl
Dies ist ein in Scala geschriebenes Spark-Streaming-Programm. Es zählt die Anzahl der Wörter von einem Socket in jeder Sekunde. Das Ergebnis wäre die Wortanzahl, zum Beispiel die Wortanzahl von 0 bis 1 und die Wortanzahl dann von 1 bis 2. Aber ...
Wie funktioniert die Spark-Aggregatfunktion - aggregateByKey?
Angenommen, ich habe ein Verteilungssystem auf 3 Knoten und meine Daten werden auf diese Knoten verteilt. Ich habe zum Beispiel eine test.csv-Datei, die auf allen drei Knoten vorhanden ist und 2 Spalten enthält: **row | id, c.** --------------- ...
Apache Spark: Job abgebrochen wegen Stage-Fehler: "TID x aus unbekannten Gründen fehlgeschlagen"
Ich habe es mit einigen seltsamen Fehlermeldungen zu tun, die ich habedenken Ich komme auf ein Gedächtnisproblem zurück, aber es fällt mir schwer, es einzugrenzen, und ich könnte einige Anleitungen von Experten gebrauchen. Ich habe einen Spark ...
Apache Spark - java.lang.NoSuchMethodError: breeze.linalg.DenseVector
Ich habe Probleme beim Ausführen von Apache Spark 1.0.1 innerhalb eines Spiels! App. Derzeit versuche ich, Spark im Play! Anwendung und Verwendung einiger grundlegender maschineller Lernfunktionen in Spark. Hier ist meine App-Erstellung: def ...
Spark - Scala: RDD mischen / RDD zufällig in zwei Teile teilen
Wie kann ich ein rdd-Array mit Funken nehmen und es zufällig in zwei rdds aufteilen, sodass jedes rdd einen Teil der Daten enthält (sagen wir 97% und 3%)? Ich dachte, ich mische die Liste ...
Feuern Sie das Verständnis für das Garnkonzept an
Ich versuche zu verstehen, wie Funken auf YARN Cluster / Client ausgeführt wird. Ich habe die folgende Frage im Kopf. Ist es notwendig, dass an allen Knoten im Garncluster ein Funke installiert ist? Ich denke, es sollte, weil Worker-Knoten im ...
Wie kann ich mit scala eine Verbindung zu einer PostgreSQL-Datenbank in Apache Spark herstellen?
Ich möchte wissen, wie ich Dinge in Scala verfolgen kann. Stellen Sie mit Spark-Scala eine Verbindung zu einer PostgreSQL-Datenbank her.Schreiben Sie SQL-Abfragen wie SELECT, UPDATE usw., um eine Tabelle in dieser Datenbank zu ändern.Ich weiß, ...
Spark-Streaming-Fenster-Betrieb
Das Folgende ist ein einfacher Code, um die Wortanzahl über eine Fenstergröße von 30 Sekunden und eine Foliengröße von 10 Sekunden zu erhalten. import org.apache.spark.SparkConf import org.apache.spark.streaming._ ...