¿Cómo hacer que sea más fácil implementar mi Jar to Spark Cluster en modo independiente?

Tengo un grupo pequeño con 3 máquinas, y otra máquina para desarrollar y probar. Al desarrollar, establezcoSparkContext alocal. Cuando todo está bien, quiero implementar el archivo Jar que construyo en cada nodo. Básicamente muevo manualmente este jar al clúster y lo copio a HDFS que comparte el clúster. Entonces podría cambiar el código a:

//standalone mode
val sc = new SparkContext(
     "spark://mymaster:7077", 
     "Simple App", 
     "/opt/spark-0.9.1-bin-cdh4",   //spark home
     List("hdfs://namenode:8020/runnableJars/SimplyApp.jar") //jar location
) 

para ejecutarlo en mi IDE. Mi pregunta: ¿hay alguna manera más fácil de mover este jar al clúster?

Respuestas a la pregunta(1)

Su respuesta a la pregunta