¿Cómo calcula la IU web la memoria de almacenamiento (en la pestaña Ejecutores)?
Estoy tratando de entender cómo Spark 2.1.0 asigna memoria en los nodos.
Supongamos que estoy comenzando un PySpark REPL local que le asigna 2 GB de memoria:
$ pyspark --conf spark.driver.memory=2g
Spark UI dice que hay956,6 MB asignado para la memoria de almacenamiento:
No entiendo cómo llegar a ese número, este es mi proceso de pensamiento:
El tamaño del montón del controlador se establece en2048 MB,De acuerdo adocs: (2048 MB - 300 MB) * 0.6 = 1048.8 MB se utilizan para las regiones de ejecución y almacenamiento (unificado),Adicionalmente1048.8 MB * 0.5 = 524.4 MB dentro de la región unificada debe reservarse comoregión de almacenamiento inmuneEntonces, ¿cómo se calculó realmente el valor 956.6 MB en Spark?