Wie um die Karte struct im DataFrame zu Fall Klasse?

Irgendwann in meiner Anwendung habe ich einen DataFrame mit einem Struct-Feld erstellt von Fall Klasse. Jetzt möchte ich cast/anzeigen es wieder der Fall-Klasse Typ:

import spark.implicits._
case class Location(lat: Double, lon: Double)

scala> Seq((10, Location(35, 25)), (20, Location(45, 35))).toDF
res25: org.apache.spark.sql.DataFrame = [_1: int, _2: struct<lat: double, lon: double>]

scala> res25.printSchema
root
 |-- _1: integer (nullable = false)
 |-- _2: struct (nullable = true)
 |    |-- lat: double (nullable = false)
 |    |-- lon: double (nullable = false)

Und basic:

res25.map(r => {
   Location(r.getStruct(1).getDouble(0), r.getStruct(1).getDouble(1))
}).show(1)

Sieht wirklich schmutzig
Gibt es eine einfachere Möglichkeit?

InformationsquelleAutor Atais | 2017-04-08
  1. 3

    Spark 1.6+ wenn Sie behalten möchten die Art von Informationen erhalten, dann verwenden Datensatz (DS), nicht DataFrame (DF).

    import spark.implicits._
case class Location(lat: Double, lon: Double)

scala> Seq((10, Location(35, 25)), (20, Location(45, 35))).toDS
res25: org.apache.spark.sql.Dataset[(Int, Location)] = [_1: int, _2: struct<lat: double, lon: double>]

scala> res25.printSchema
root
 |-- _1: integer (nullable = false)
 |-- _2: struct (nullable = true)
 |    |-- lat: double (nullable = false)
 |    |-- lon: double (nullable = false)

    Wird es Ihnen Dataset[(Int, Location)]. Nun, wenn Sie möchten, zu bekommen, um es zurück Fall Klasse Herkunft wieder, dann tun Sie einfach so:

    scala> res25.map(r => r._2).show(1)
+----+----+
| lat| lon|
+----+----+
|35.0|25.0|
+----+----+

    Aber, wenn Sie halten wollen, DataFrame API, durch die es den dynamischen Typ der Natur, dann müssen Sie Sie haben es code wie das:

    scala> res25.select("_2.*").map(r => Location(r.getDouble(0), r.getDouble(1))).show(1)
+----+----+
| lat| lon|
+----+----+
|35.0|25.0|
+----+----+
    • Eigentlich brauche ich den Zugriff auf andere Reihe von Eigenschaften zu, so dass direkte Karte benötigt wird, ohne die Stufe wählen. Wie kann das getan werden?
    • Derzeit gibt es keinen anderen Weg, als bei einem select ersten und dann gehen Sie für eine map über es. Oder, wenn möglich, die Sie verwenden können Dataset.
    InformationsquelleAutor himanshuIIITian
  2. 2

    Konnte man auch mit dem Abzieher Muster in Row geben würden Sie zu ähnlichen Ergebnissen, mit mehr idiomatische scala:

    scala> res25.map { row =>
  (row: @unchecked) match {
    case Row(a: Int, Row(b: Double, c: Double)) => (a, Location(b, c))
  }
}
res26: org.apache.spark.sql.Dataset[(Int, Location)] = [_1: int, _2: struct<lat: double, lon: double>]
scala> res26.collect()
res27: Array[(Int, Location)] = Array((10,Location(35.0,25.0)), (20,Location(45.0,35.0)))
    InformationsquelleAutor jamborta
  3. 2

    Ich denke, die anderen Antworten genagelt, aber vielleicht brauchen Sie vielleicht eine andere Wortwahl.

    Kurz gesagt, es ist nicht möglich, case-Klassen in DataFrames, da Sie nicht den Fall, über case-Klassen und-Nutzung RowEncoder zum anzeigen der internen SQL-Typen zu einem Row.

    Als die anderen Antworten gesagt, Sie haben zu drehen Row-basierte DataFrame in eine Dataset mit as Betreiber.

    val df = Seq((10, Location(35, 25)), (20, Location(45, 35))).toDF
scala> val ds = df.as[(Int, Location)]
ds: org.apache.spark.sql.Dataset[(Int, Location)] = [_1: int, _2: struct<lat: double, lon: double>]

scala> ds.show
+---+-----------+
| _1|         _2|
+---+-----------+
| 10|[35.0,25.0]|
| 20|[45.0,35.0]|
+---+-----------+

scala> ds.printSchema
root
 |-- _1: integer (nullable = false)
 |-- _2: struct (nullable = true)
 |    |-- lat: double (nullable = false)
 |    |-- lon: double (nullable = false)

scala> ds.map[TAB pressed twice]

def map[U](func: org.apache.spark.api.java.function.MapFunction[(Int, Location),U],encoder: org.apache.spark.sql.Encoder[U]): org.apache.spark.sql.Dataset[U]
def map[U](func: ((Int, Location)) => U)(implicit evidence$6: org.apache.spark.sql.Encoder[U]): org.apache.spark.sql.Dataset[U]
    InformationsquelleAutor Jacek Laskowski
Schreibe einen Kommentar