SparkSQL: как работать с нулевыми значениями в пользовательской функции?

Приведена таблица 1 с одним столбцом «x» типа String. Я хочу создать таблицу 2 со столбцом "у", который является целочисленным представлением строк...

Возврат нескольких массивов из определяемой пользователем статистической функции (UDAF) в Apache Spark SQL

Я пытаюсь создать пользовательскую агрегатную функцию (UDAF) в Java, используя Apache Spark SQL, который возвращает несколько массивов по завершении. Я искал...

Как преобразовать столбец WrappedArray в фрейме данных spark в строки?

Я пытаюсь преобразовать столбец, содержащий Array [String] в String, но я постоянно получаю эту ошибку

Переполнение стека при обработке нескольких столбцов с помощью UDF

у меня есть

Как создать собственный трансформер из UDF?

Я пытался создать и сохранитьТрубопровод с нестандартными этапами. Мне нужно добавить

Применение функции к столбцу Spark Dataframe

Исходя из R, я привык легко выполнять операции над столбцами. Есть ли простой способ взять эту функцию, которую я написал в Scala

Apache Spark - присваивает результат UDF нескольким столбцам данных

Как передать постоянное значение в Python UDF?

внутреннее соединение против скалярной функции

Какой из следующих запросов лучше ... Это только пример, есть множество ситуаций, когда я хочу, чтобы имя пользователя отображалось вместо UserID

Зарегистрируйте UDF в SqlContext из Scala для использования в PySpark