Функция Strip или Regex в кадре данных Spark 1.3

У меня есть некоторый код из PySpark 1.5, который я, к сожалению, должен перенести обратно в Spark 1.3. У меня есть столбец с алфавитно-цифровыми элементами,...

Несколько агрегированных операций в одном столбце искрового фрейма данных

Как создать набор данных из пользовательского класса Person?

Функция Apache Spark Window с вложенным столбцом

Переполнение стека при обработке нескольких столбцов с помощью UDF

у меня есть

Spark UI показывает 0 ядер даже при настройке ядер в приложении

У меня возникла странная проблема с запуском приложения из основного URL-адреса Spark, когда пользовательский интерфейс неопределенно сообщает «СОСТОЯНИЕ» «О...

оконная функция first_value в pyspark

Как создать собственный трансформер из UDF?

Я пытался создать и сохранитьТрубопровод с нестандартными этапами. Мне нужно добавить

Найти максимальный ряд на группу в Spark DataFrame

Я пытаюсь использовать кадры данных Spark вместо RDD, поскольку они выглядят более высокоуровневыми, чем RDD, и, как правило, создают более читаемый код.В 14...

Применение функции к столбцу Spark Dataframe

Исходя из R, я привык легко выполнять операции над столбцами. Есть ли простой способ взять эту функцию, которую я написал в Scala