Я сталкивался с различными проблемами при моделировании некоторых тем Spark LDA (в основном из-за ошибок диссоциации через, казалось бы, случайные интервалы), которые я выполнял, что, я думаю, в основном связано с недостаточным распределением памяти у моих исполнителей. Казалось бы, это связано с проблемной автоматической настройкой кластера. Моя последняя попытка использует машины n1-standard-8 (8 ядер, 30 ГБ ОЗУ) как для главного, так и для рабочего узлов (6 рабочих, то есть всего 48 ядер).

Но когда я смотрю на/etc/spark/conf/spark-defaults.conf Я вижу это:

spark.master yarn-client
spark.eventLog.enabled true
spark.eventLog.dir hdfs://cluster-3-m/user/spark/eventlog

# Dynamic allocation on YARN
spark.dynamicAllocation.enabled true
spark.dynamicAllocation.minExecutors 1
spark.dynamicAllocation.initialExecutors 100000
spark.dynamicAllocation.maxExecutors 100000
spark.shuffle.service.enabled true
spark.scheduler.minRegisteredResourcesRatio 0.0

spark.yarn.historyServer.address cluster-3-m:18080
spark.history.fs.logDirectory hdfs://cluster-3-m/user/spark/eventlog

spark.executor.cores 4
spark.executor.memory 9310m
spark.yarn.executor.memoryOverhead 930

# Overkill
spark.yarn.am.memory 9310m
spark.yarn.am.memoryOverhead 930

spark.driver.memory 7556m
spark.driver.maxResultSize 3778m
spark.akka.frameSize 512

# Add ALPN for Bigtable
spark.driver.extraJavaOptions -Xbootclasspath/p:/usr/local/share/google/alpn/alpn-boot-8.1.3.v20150130.jar
spark.executor.extraJavaOptions -Xbootclasspath/p:/usr/local/share/google/alpn/alpn-boot-8.1.3.v20150130.jar

Но эти ценности не имеют большого смысла. Зачем использовать только 4/8 исполнительных ядер? И только 9,3 / 30 ГБ оперативной памяти? У меня сложилось впечатление, что весь этот конфиг должен был обрабатываться автоматически, но даже мои попытки ручной настройки ни к чему не привели.

Например, я попытался запустить оболочку с:

spark-shell --conf spark.executor.cores=8 --conf spark.executor.memory=24g

Но тогда это не удалось с

java.lang.IllegalArgumentException: Required executor memory (24576+930 MB) is above the max threshold (22528 MB) of this cluster! Please increase the value of 'yarn.scheduler.maximum-allocation-mb'.

Я пытался изменить соответствующее значение в/etc/hadoop/conf/yarn-site.xmlбезрезультатно. Даже когда я пытаюсь установить другой кластер (например, с помощью исполнителей с 60+ ГБ ОЗУ), я сталкиваюсь с той же проблемой. По какой-то причине максимальный порог остается на уровне 22528 МБ.

Здесь я что-то не так делаю, или это проблема с автоматической настройкой Google?