¿Cómo hacer que sea más fácil implementar mi Jar to Spark Cluster en modo independiente?
Tengo un grupo pequeño con 3 máquinas, y otra máquina para desarrollar y probar. Al desarrollar, establezcoSparkContext
alocal
. Cuando todo está bien, quiero implementar el archivo Jar que construyo en cada nodo. Básicamente muevo manualmente este jar al clúster y lo copio a HDFS que comparte el clúster. Entonces podría cambiar el código a:
//standalone mode
val sc = new SparkContext(
"spark://mymaster:7077",
"Simple App",
"/opt/spark-0.9.1-bin-cdh4", //spark home
List("hdfs://namenode:8020/runnableJars/SimplyApp.jar") //jar location
)
para ejecutarlo en mi IDE. Mi pregunta: ¿hay alguna manera más fácil de mover este jar al clúster?