Как упростить развертывание Jar-файла в Spark Cluster в автономном режиме?
У меня есть небольшой кластер с 3 машинами и еще одна машина для разработки и тестирования. При разработке я установилSparkContext вlocal, Когда все в порядке, я хочу развернуть файл Jar, который я создаю, на каждом узле. По сути, я вручную перемещаю эту банку в кластер и копирую в HDFS, которая используется кластером. Тогда я мог бы изменить код на:
//standalone mode
val sc = new SparkContext(
"spark://mymaster:7077",
"Simple App",
"/opt/spark-0.9.1-bin-cdh4", //spark home
List("hdfs://namenode:8020/runnableJars/SimplyApp.jar") //jar location
)
запустить его в моей IDE. Мой вопрос: есть ли способ переместить эту банку в кластер?