на вопрос).

Спасибо за решение. Я выглядел больше как фрейм данных

 тоже работает.

, Во всяком случае, я обновил оригинальный вопрос.

Спасибо @pratiklodha за суть этого.

 Работает в конце концов. Это нужно сделать также в конфигурации драйвера Spark, а не мастера или рабочих. Видимо, я забыл об этом, когда в последний раз пытался.

Кеширование требует поддержки RDD. Это требует, чтобы мы также знали резервные разделы, и это несколько особенное для глобального порядка: оно запускает задание (сканирование), потому что нам нужно определить границы раздела.

Спасибо, в конце концов, я использовал coallesce: df.withColumn ("B", coalesce (df.B, df.A)) Но ваш ответ полезен в случае, если кто-то еще попробует это.

Я бы сказал, что вам нужно запустить UDF, где вы можете применить логику для преобразования массива в строку, а затем выбрать новый столбец

).

тоящее время я работаю со Spark 2.1 и имею основной скрипт, который вызывает вспомогательный модуль, который содержит все мои методы преобразования. Другими ...