Spark Launcher esperando la finalización del trabajo infinitamente

Estoy tratando de enviar un trabajo JAR con Spark en el clúster YARN desde el código Java. Estoy usando SparkLauncher para enviar el ejemplo de SparkPi: Process spark = new ...