В нашем кластере Hadoop, работающем под управлением Yarn, у нас есть проблема, заключающаяся в том, что некоторые «умные» люди могут потреблять значительно большие куски ресурсов, настраивая задания Spark в ноутбуках pySpark Jupyter, например:

conf = (SparkConf()
        .setAppName("name")
        .setMaster("yarn-client")
        .set("spark.executor.instances", "1000")
        .set("spark.executor.memory", "64g")
        )

sc = SparkContext(conf=conf)

Это приводит к тому, что эти люди буквально выдавливают других менее «умнее».

Есть ли способ запретить пользователям самостоятельно распределять ресурсы и оставлять распределение ресурсов исключительно на Yarn?