Como converter um WrappedArray [WrappedArray [Float]] para Array [Array [Float]] em faísca (scala)

Estou usando o Spark 2.0. Eu tenho uma coluna do meu dataframe contendo umWrappedArray de WrappedArrays of Float.

Um exemplo de uma linha seria:

[[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]]

Estou tentando transformar esta coluna em umaArray[Array[Float]].

O que eu tentei até agora é o seguinte:

dataframe.select("mycolumn").rdd.map(r => r.asInstanceOf[Array[Array[Float]]])

mas eu recebo o seguinte erro:

Caused by: java.lang.ClassCastException:
 org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to [[F

Qualquer idéia seria muito apreciada. obrigado

questionAnswers(2)

yourAnswerToTheQuestion