Ich habe einen kleinen Cluster mit 3 Maschinen und eine andere Maschine zum Entwickeln und Testen. Bei der Entwicklung habe ich gesetztSparkContext zulocal. Wenn alles in Ordnung ist, möchte ich die Jar-Datei, die ich erstellt habe, auf jedem Knoten bereitstellen. Grundsätzlich verschiebe ich dieses Glas manuell in einen Cluster und kopiere es in HDFS, das vom Cluster gemeinsam genutzt wird. Dann könnte ich den Code ändern zu:

//standalone mode
val sc = new SparkContext(
     "spark://mymaster:7077", 
     "Simple App", 
     "/opt/spark-0.9.1-bin-cdh4",   //spark home
     List("hdfs://namenode:8020/runnableJars/SimplyApp.jar") //jar location
) 

um es in meiner IDE auszuführen. Meine Frage: Gibt es eine einfachere Möglichkeit, dieses Glas in Cluster zu verschieben?