Suchergebnisse für Anfrage "apache-spark"
Installieren von Apache Spark unter Windows
Ich muss installierenApache Spark [http://spark.apache.org/]auf einem Windows-Computer. Laut Dokumentation sollte ich sbt auf meinem Rechner installiert haben und auch dessen Standardoptionen überschreiben, um maximal 2 GB RAM zu ...
Wie werden Executoren in Spark Streaming Jobs zugewiesen?
Angenommen, ich habe zwei oder mehr Executoren in einer Spark-Streaming-Anwendung. Ich habe die Batch-Zeit auf 10 Sekunden eingestellt, sodass alle 10 Sekunden ein Job gestartet wird, der Eingaben von meinem HDFS liest. Wenn jeder Job länger ...
Funkserialisierungsfehler
Ich versuche spark + scala zu lernen Ich möchte von HBase lesen, aber ohne Mapreduce. Ich habe eine einfache HBase-Tabelle - "test" - erstellt und 3 Puts eingegeben. Ich möchte es über Funken lesen (ohne HBaseTest, der Mapreduce verwendet). Ich ...
Wie bekomme ich den aktuellen Pfad von SSSP mit Apache Spark GraphX?
Ich habe das SSSP-Beispiel (Single Source Shortest Path) auf einer Funkenstelle wie folgt ausgeführt: Beispiel graphx-SSSP pregel [http://spark.apache.org/docs/latest/graphx-programming-guide.html#pregel-api] Code (scala): object Pregel_SSSP { ...
Spark-Worker können JAR im EC2-Cluster nicht finden
Ich verwende spark-ec2, um Spark-Code auszuführen. Wenn ich master auf "local" setze, läuft es einwandfrei. Wenn ich jedoch master auf $ MASTER setze, schlagen die Worker sofort mit java.lang.NoClassDefFoundError für die Klassen fehl. ...
SPARK + Standalone-Cluster: Worker kann nicht von einem anderen Computer gestartet werden
Ich habe ein eigenständiges Spark-Cluster-Setup eingerichtetFolgen Sie diesem Link [http://spark.apache.org/docs/latest/spark-standalone.html#starting-a-cluster-manually] . Ich habe 2 Maschinen; Der erste (ubuntu0) dient sowohl als Master als ...
Wie sortiere ich eine RDD in Scala Spark?
Spark-Methode sortByKey lesen: sortByKey([ascending], [numTasks]) When called on a dataset of (K, V) pairs where K implements Ordered, returns a dataset of (K, V) pairs sorted by keys in ascending or descending order, as specified in the boolean ...
Spark atop of Docker akzeptiert keine Jobs
Ich versuche, ein Hallo-Welt-Beispiel mit spark + docker zu erstellen, und hier ist mein Code. object Generic { def main(args: Array[String]) { val sc = new SparkContext("spark://172.17.0.3:7077", "Generic", "/opt/spark-0.9.0") val NUM_SAMPLES = ...
Apache Spark EOF-Ausnahme
Ich erhalte eine EOFException, wenn ein einfacher Job ausgeführt wird, der eine Textdatei liest und die Ergebnisse sammelt. Dies funktioniert gut auf meinem Entwicklungscomputer, schlägt jedoch fehl, wenn es im Standalone-Modus ausgeführt wird ...
Welche Dateien werden von Spark bei Verwendung von "saveAsTextFile" generiert?
Wenn ich einen Spark-Job ausführe und die Ausgabe als Textdatei mit der unter angegebenen Methode "saveAsTextFile" ...