Cómo lanzar un WrappedArray [WrappedArray [Float]] a Array [Array [Float]] en spark (scala)
Estoy usando Spark 2.0. Tengo una columna de mi marco de datos que contiene unWrappedArray de Wrapped Arrays of Float.
Un ejemplo de una fila sería:
[[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]]
Estoy tratando de transformar esta columna en unArray[Array[Float]].
Lo que probé hasta ahora es lo siguiente:
dataframe.select("mycolumn").rdd.map(r => r.asInstanceOf[Array[Array[Float]]])
pero me sale el siguiente error:
Caused by: java.lang.ClassCastException:
org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to [[F
Cualquier idea sería muy apreciada. Gracias