поскольку StorageManager живет там. Не могли бы вы задать отдельный вопрос, чтобы он не провалился в трещины? Благодарю.
аюсь понять, как Spark 2.1.0 выделяет память на узлах.
Предположим, я запускаю локальный репозиторий PySpark, назначая ему 2 ГБ памяти:
$ pyspark --conf spark.driver.memory=2g
Spark UI сообщает, что есть956,6 МБ Выделено под память:
Я не понимаю, как добраться до этого числа, это мой мыслительный процесс:
Размер кучи драйвера установлен на2048 MB
,В соответствии сдокументы: (2048 MB - 300 MB) * 0.6 = 1048.8 MB
используются как для области исполнения, так и для области хранения (унифицированный),Дополнительно1048.8 MB * 0.5 = 524.4 MB
в пределах единого региона должны быть зарезервированы какобласть иммунной памятиИтак, как же было рассчитано значение 956,6 МБ в Spark?