Suchergebnisse für Anfrage "apache-spark"
App-Ausführungs-ID für einen Spark-Job abrufen
Ich möchte, von wo aus ich einen Spark-Job ausführe, die eindeutige ID dieses Jobs erhalten. Über die Website des Spark-Masterknotens kann ich diese ID sehen. Es ist so etwas wie: ID: app-20140429125304-0452Gibt es eine Möglichkeit, dies zu ...
Spark Context Textfile: Lädt mehrere Dateien
Ich muss mehrere Dateien verarbeiten, die auf verschiedene Verzeichnisse verteilt sind. Ich möchte alle diese in einem einzelnen RDD laden und dann Karte / Verkleinerung auf ihm durchführen. Ich sehe, dass SparkContext in der Lage ist, mithilfe ...
Was ist der Unterschied zwischen einer RDD-Partition und einem Slice?
DasSpark-Programmierhandbuch [http://spark.apache.org/docs/latest/scala-programming-guide.html]Erwähnt Slices als Feature von RDDs (sowohl parallele Auflistungen als auch Hadoop-Datasets). ("Spark führt eine Task für jeden Slice des Clusters ...
Installieren von Apache Spark unter Windows
Ich muss installierenApache Spark [http://spark.apache.org/]auf einem Windows-Computer. Laut Dokumentation sollte ich sbt auf meinem Rechner installiert haben und auch dessen Standardoptionen überschreiben, um maximal 2 GB RAM zu ...
So schreiben Sie in Spark an CSV
Ich versuche, eine effektive Methode zum Speichern des Ergebnisses meines Spark-Jobs als CSV-Datei zu finden. Ich verwende Spark mit Hadoop und bis jetzt werden alle meine Dateien gespeichert alspart-00000. Irgendwelche Ideen, wie ich meinen ...
Wie werden Executoren in Spark Streaming Jobs zugewiesen?
Angenommen, ich habe zwei oder mehr Executoren in einer Spark-Streaming-Anwendung. Ich habe die Batch-Zeit auf 10 Sekunden eingestellt, sodass alle 10 Sekunden ein Job gestartet wird, der Eingaben von meinem HDFS liest. Wenn jeder Job länger ...
Funkserialisierungsfehler
Ich versuche spark + scala zu lernen Ich möchte von HBase lesen, aber ohne Mapreduce. Ich habe eine einfache HBase-Tabelle - "test" - erstellt und 3 Puts eingegeben. Ich möchte es über Funken lesen (ohne HBaseTest, der Mapreduce verwendet). Ich ...
Spark-Worker können JAR im EC2-Cluster nicht finden
Ich verwende spark-ec2, um Spark-Code auszuführen. Wenn ich master auf "local" setze, läuft es einwandfrei. Wenn ich jedoch master auf $ MASTER setze, schlagen die Worker sofort mit java.lang.NoClassDefFoundError für die Klassen fehl. ...
Wie bekomme ich den aktuellen Pfad von SSSP mit Apache Spark GraphX?
Ich habe das SSSP-Beispiel (Single Source Shortest Path) auf einer Funkenstelle wie folgt ausgeführt: Beispiel graphx-SSSP pregel [http://spark.apache.org/docs/latest/graphx-programming-guide.html#pregel-api] Code (scala): object Pregel_SSSP { ...
SPARK + Standalone-Cluster: Worker kann nicht von einem anderen Computer gestartet werden
Ich habe ein eigenständiges Spark-Cluster-Setup eingerichtetFolgen Sie diesem Link [http://spark.apache.org/docs/latest/spark-standalone.html#starting-a-cluster-manually] . Ich habe 2 Maschinen; Der erste (ubuntu0) dient sowohl als Master als ...