Desejo expor meus aplicativos Spark aos usuários com um aplicativo Web.

Basicamente, o usuário pode decidir qual ação ele deseja executar e inserir algumas variáveis, que precisam ser passadas para o aplicativo spark. Por exemplo: O usuário digita alguns campos e clica em um botão que executa o seguinte "sparkApp1 com o parâmetro min_x, max_x, min_y, max_y ".

O aplicativo spark deve ser iniciado com os parâmetros fornecidos pelo usuário. Após a conclusão, o aplicativo da web pode ser necessário para recuperar os resultados (de hdfs ou mongodb) e exibi-los para o usuário. Durante o processamento, o Aplicativo da Web deve exibir o status do Aplicativo Spark.

Minha pergunta:

Como o aplicativo Web pode iniciar o aplicativo Spark? Pode ser possível iniciá-lo a partir da linha de comando, mas pode haver uma maneira melhor de fazer isso.Como o aplicativo da web pode acessar o status atual do aplicativo Spark? Está buscando o status da API REST do Spark WebUI?

Estou executando um cluster do Spark 1.6.1 com YARN / Mesos (ainda não tenho certeza) e MongoDB.