Преобразование RDD [org.apache.spark.sql.Row] в RDD [org.apache.spark.mllib.linalg.Vector]
Я относительно новичок в Spark и Scala.
Я начинаю со следующего фрейма данных (один столбец сделан из плотного вектора двойников):
scala> val scaledDataOnly_pruned = scaledDataOnly.select("features")
scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [features: vector]
scala> scaledDataOnly_pruned.show(5)
+--------------------+
| features|
+--------------------+
|[-0.0948337274182...|
|[-0.0948337274182...|
|[-0.0948337274182...|
|[-0.0948337274182...|
|[-0.0948337274182...|
+--------------------+
Прямое преобразование в RDD дает экземпляр org.apache.spark.rdd.RDD [org.apache.spark.sql.Row]:
scala> val scaledDataOnly_rdd = scaledDataOnly_pruned.rdd
scaledDataOnly_rdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[32] at rdd at <console>:66
Кто-нибудь знает, как преобразовать этот DF в экземпляр org.apache.spark.rdd.RDD [org.apache.spark.mllib.linalg.Vector] вместо этого? Мои различные попытки пока не увенчались успехом.
Заранее спасибо за любые указатели!