Spark: недостаточно места для кэширования красного в контейнере, но при этом остается много общего объема памяти
У меня есть кластер из 30 узлов, каждый узел имеет 32 ядра, память 240 ГБ (экземпляр AWS cr1.8xlarge). У меня есть следующие конфигурации:
--driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90
Я могу видеть из трекера работы, что у меня все еще естьмного осталось всего памяти, но в одном из контейнеров я получил следующее сообщение: ограничение на хранение = 28,3 ГБ. Мне интересно, откуда взялись эти 28,3 ГБ? Моя памятьФракция для хранения составляет 0,45
И как мне это решитьНедостаточно места для кэширования rdd вопрос? Должен ли я сделать больше разделов или изменить параллелизм по умолчанию ... так как у меня все еще остается много неиспользуемой общей памяти. Спасибо!
15/12/05 22:39:36 WARN storage.MemoryStore: Not enough space to cache rdd_31_310 in memory! (computed 1326.6 MB so far)
15/12/05 22:39:36 INFO storage.MemoryStore: Memory use = 9.6 GB (blocks) + 18.1 GB (scratch space shared across 4 tasks(s)) = 27.7 GB. Storage limit = 28.3 GB.
15/12/05 22:39:36 WARN storage.MemoryStore: Not enough space to cache rdd_31_136 in memory! (computed 1835.8 MB so far)
15/12/05 22:39:36 INFO storage.MemoryStore: Memory use = 9.6 GB (blocks) + 18.1 GB (scratch space shared across 5 tasks(s)) = 27.7 GB. Storage limit = 28.3 GB.
15/12/05 22:39:36 INFO executor.Executor: Finished task 136.0 in stage 12.0 (TID 85168). 1272 bytes result sent to driver