@DeepakJanyavula Я не видел это предупреждение раньше. Может быть, вы можете добавить 'set -x` в файл pyspark для отладки.

я есть сценарий запуска ipthon следующим образом

 в SparkR.

я есть таблица с именем столбца типа массива

https://issues.apache.org/jira/browse/SPARK-10915

, Это добавляет время дискового ввода-вывода, которое вы можете оценить и вычесть позже, но вы уверены, что спарк выполнил каждый ожидаемый вами шаг и не обманул вас ленивой оценкой.

а (например, для тестирования и маркировки) я хочу принудительно выполнить преобразования, определенные в DataFrame. AFAIK называет действие как

Хм, странно. Другая версия, но все еще не 69.5335. Я добавил все источники в мой вопрос.

я есть эти тестовые данные:

@Avi Chalbani Я получаю сообщение об ошибке, когда я делаю то же самое, как это исправить? найдено в базе данных «по умолчанию»;

(на узле с Resource Manager), если вы используете честный планировщик и перезапустите Resource Manager.

 и работать с реальным

 сохранить в вашем кластере hadoop OS S3 Bucket для больших наборов данных.

Локальные свойства не предназначены для установки ядер / ОЗУ; он предназначен для передачи свойств, локальных для потока драйверов, исполнителям. Вам необходимо настроить ядра / память, которые использует программа Spark, перед запуском SparkContext.