Работает в конце концов. Это нужно сделать также в конфигурации драйвера Spark, а не мастера или рабочих. Видимо, я забыл об этом, когда в последний раз пытался.
spark.sql.caseSensitive определяет, будут ли имена столбцов и т. д. чувствительными к регистру или нет. Это может быть установлено, например, от
spark_session.sql('set spark.sql.caseSensitive=true')
и являетсяfalse по умолчанию.
По-видимому, невозможно включить его глобально в$SPARK_HOME/conf/spark-defaults.conf с
spark.sql.caseSensitive: True
хоть. Это предназначено или есть какой-то другой файл для установки параметров SQL?
Также висточник заявлено, что крайне не рекомендуется это вообще делать. В чем смысл этого совета?