Ответ для фрейма данных. Как я могу написать RDD в формате паркета?

Я попытался распечатать значения ниже: rdd.map (row => row.get (0) .asInstanceOf [WrappedArray [WrappedArray [String]]]. ToSeq.map (x => x.toSeq.foreach (println) ))

Еще один простой способ без Array и Struct.

у пользовательскую функцию, которая возьмет все столбцы, кроме первого в кадре данных, и выполнит суммирование (или любую другую операцию). Теперь фрейм данн...

 в SparkR.

я есть таблица с именем столбца типа массива

вроде как.

ои данные:

Это даст вам ожидаемый результат.

 тоже работает.

Спасибо за решение. Я выглядел больше как фрейм данных

да, это работает, я хотел сначала опубликовать этот ответ, но думаю, что он не будет полным, потому что, если столбцы в df1 и df2 имеют разные имена?

ел бы динамически объединить два фрейма данных spark-scala в нескольких столбцах. Я бы хотел избежать жесткого сравнения имен столбцов, как показано в следую...

Я бы сказал, что вам нужно запустить UDF, где вы можете применить логику для преобразования массива в строку, а затем выбрать новый столбец