вместо.

я есть фрейм данных с файлом паркета, и я должен добавить новый столбец с некоторыми случайными данными, но мне нужны эти случайные данные, отличающиеся друг...

Это интересно - мне было интересно узнать о функции для разворачивания фреймов данных, и я впервые вижу что-то чистое. Для тех, кто заинтересован в этом, не забудьте решение, состоящее в

 к значениям

почти, он добавляет столбец с максимальным значением, но сохраняет все строки.

от вопрос уже есть ответ здесь:Как выбрать первый ряд каждой группы? 8 ответовУчитывая следующий DataFrame:

https://issues.apache.org/jira/browse/SPARK-10915

 в SparkR.

я есть таблица с именем столбца типа массива

 и работать с реальным

Кеширование требует поддержки RDD. Это требует, чтобы мы также знали резервные разделы, и это несколько особенное для глобального порядка: оно запускает задание (сканирование), потому что нам нужно определить границы раздела.

Для этого нужен контекст улья. Ищете решение только с sqlContext

спасибо @Ashraful, это сработало.

приведен блок кода и получена ошибка