Iterieren scala wrappedArray? (Funke)

Ich die folgenden Operationen durchführen:

val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pID) as docids 
                               from words
                               group by words.pName_token").toDF()

val wordDocs = tempDict.filter(newDict("pName_token")===word)

val listDocs = wordDocs.map(t => t(1)).collect()

listDocs: Array

[Any] = Array(WrappedArray(123, 234, 205876618, 456))

Meine Frage ist, wie kann ich Durchlaufen verpackt-array oder konvertieren Sie diese in eine Liste?

Die Optionen, die ich für die listDocs sind apply, asInstanceOf, clone, isInstanceOf, length, toString, und update.

Wie muss ich Vorgehen?

InformationsquelleAutor boY | 2016-07-08
  1. 8

    Hier ist ein Weg, um dieses Problem zu lösen.

    import org.apache.spark.sql.Row
import org.apache.spark.sql.functions._
import scala.collection.mutable.WrappedArray

val data = Seq((Seq(1,2,3),Seq(4,5,6),Seq(7,8,9)))
val df = sqlContext.createDataFrame(data)
val first = df.first

//use a pattern match to deferral the type
val mapped = first.getAs[WrappedArray[Int]](0)

//now we can use it like normal collection
mapped.mkString("\n")

//get rows where has array
val rows = df.collect.map {
    case Row(a: Seq[Any], b: Seq[Any], c: Seq[Any]) => 
        (a, b, c)
}
rows.mkString("\n")
    • Eigentlich wollte ich diese und die scheint sich zu lösen mein Fall: val arrDocs = listDocs(0) val temp = arrDocs.asInstanceOf[veränderlich.WrappedArray[Langen]] temp nun, im Grunde gibt mir einen iterator.
    • danke @boY, ich aktualisierte die Antwort. Der Vorherige war ein wenig ausführlich.
    • Ich hatte Probleme mit WrappedArray in meinen code und war in der Lage, es zu ersetzen mit Seq[Int].
    InformationsquelleAutor Rockie Yang
Schreibe einen Kommentar