Вернуть Seq [Row] из UDF Spark-Scala
Я использую Spark со Scala для обработки данных. У меня есть данные XML, сопоставленные с dataframe. Я передаю строку в качестве параметра в UDF и пытаюсь извлечь два объекта сложных типов в виде списка. Спарк дает мне следующую ошибку:
Исключение в потоке "main" java.lang.UnsupportedOperationException: схема для типа org.apache.spark.sql.Row не поддерживается
def testUdf = udf((testInput: Row) => {
val firstObject = testInput.getAs[Row]("Object1")
val secondObject = testInput.getAs[Row]("Object2")
val returnObject = Seq[firstObject,secondObject]
returnObject
})
Подскажите, пожалуйста, что я делаю не так. Благодарю.