DataFrame-ified zipWithIndex

Я пытаюсь решить давнюю проблему добавления порядкового номера в набор данных. Я работаю с DataFrames, и, похоже, не существует DataFrame, эквивалентного

Как отсортировать по столбцу в порядке убывания в Spark SQL?

Я старался

Как использовать Spark SQL DataFrame с flatMap?

Я использую Spark Scala API. У меня есть Spark SQL DataFrame (чтение из файла Avro) со следующей схемой:

Spark - «пакет sbt» - «значение $ не является членом StringContext» - отсутствует плагин Scala?

При запуске «пакета sbt» из командной строки для небольшого приложения Spark Scala я получаю ошибку компиляции «значение $ не является членом StringContext» ...

Ограничена ли вложенная структура Spark DataFrame для выбора?

У меня есть файл json с некоторыми данными, я могу создать из него DataFrame, и схема для определенной его части, которая меня интересует, выглядит следующим...

Apache Spark, добавьте вычисляемый столбец «CASE WHEN… ELSE…» в существующий DataFrame

Как избежать имен столбцов с дефисом в Spark SQL

Я импортировал файл json в Spark и преобразовал его в таблицу как

Проблема с UDF для столбца Векторов в PySpark DataFrame

У меня возникли проблемы с использованием UDF для столбца Векторы в PySpark, который можно проиллюстрировать здесь:

Написать RDD как текстовый файл, используя Apache Spark

Как определить разбиение DataFrame?