У меня есть датафрейм в Spark, в котором один из столбцов содержит массив. Теперь я написал отдельный UDF, который преобразует массив в другой массив только с различными значениями в нем. Смотрите пример ниже:

Пример:[24,23,27,23] должен быть преобразован в[24, 23, 27] Код:

def uniq_array(col_array):
    x = np.unique(col_array)
    return x
uniq_array_udf = udf(uniq_array,ArrayType(IntegerType()))

Df3 = Df2.withColumn("age_array_unique",uniq_array_udf(Df2.age_array))

В приведенном выше коде,Df2.age_array это массив, к которому я применяю UDF, чтобы получить другой столбец"age_array_unique" который должен содержать только уникальные значения в массиве.

Однако, как только я запускаю командуDf3.show()Я получаю ошибку:

net.razorvine.pickle.PickleException: ожидаемые нулевые аргументы для построения ClassDict (для numpy.core.multiarray._reconstruct)

Может кто-нибудь, пожалуйста, дайте мне знать, почему это происходит?

Спасибо!