Как перебрать scala wrappedArray? (Искра)

Я выполняю следующие операции:

val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pID) as docids 
                               from words
                               group by words.pName_token").toDF()

val wordDocs = tempDict.filter(newDict("pName_token")===word)

val listDocs = wordDocs.map(t => t(1)).collect()

listDocs: Array

[Any] = Array(WrappedArray(123, 234, 205876618, 456))

Мой вопрос: как мне перебрать этот свернутый массив или преобразовать его в список?

Варианты, которые я получаю заlistDocs являютсяapply, asInstanceOf, clone, isInstanceOf, length, toString, а такжеupdate.

Как мне поступить?

Ответы на вопрос(1)

Решение Вопроса

Вот один из способов решить эту проблему.

import org.apache.spark.sql.Row
import org.apache.spark.sql.functions._
import scala.collection.mutable.WrappedArray

val data = Seq((Seq(1,2,3),Seq(4,5,6),Seq(7,8,9)))
val df = sqlContext.createDataFrame(data)
val first = df.first

// use a pattern match to deferral the type
val mapped = first.getAs[WrappedArray[Int]](0)

// now we can use it like normal collection
mapped.mkString("\n")

// get rows where has array
val rows = df.collect.map {
    case Row(a: Seq[Any], b: Seq[Any], c: Seq[Any]) => 
        (a, b, c)
}
rows.mkString("\n")
 jspooner06 янв. 2017 г., 19:48
У меня были проблемы с WrappedArray в моем коде, и я смог заменить его на Seq [Int].
 Rockie Yang09 июл. 2016 г., 07:28
спасибо @boY, я обновил ответ. Предыдущий был немного многословен.
 boY08 июл. 2016 г., 23:41
На самом деле я сделал это, и это, кажется, решить мой случай: val arrDocs = listDocs (0) val temp = arrDocs.asInstanceOf [mutable.WrappedArray [Long]]температура теперь в основном дает мне итератор.

Ваш ответ на вопрос