поскольку StorageManager живет там. Не могли бы вы задать отдельный вопрос, чтобы он не провалился в трещины? Благодарю.

аюсь понять, как Spark 2.1.0 выделяет память на узлах.

Предположим, я запускаю локальный репозиторий PySpark, назначая ему 2 ГБ памяти:

$ pyspark --conf spark.driver.memory=2g

Spark UI сообщает, что есть956,6 МБ Выделено под память:

Я не понимаю, как добраться до этого числа, это мой мыслительный процесс:

Размер кучи драйвера установлен на2048 MB,В соответствии сдокументы: (2048 MB - 300 MB) * 0.6 = 1048.8 MB используются как для области исполнения, так и для области хранения (унифицированный),Дополнительно1048.8 MB * 0.5 = 524.4 MB в пределах единого региона должны быть зарезервированы какобласть иммунной памяти

Итак, как же было рассчитано значение 956,6 МБ в Spark?

Ответы на вопрос(1)

Ваш ответ на вопрос