Spark from_json - StructType und ArrayType

Ich habe einen Datensatz, der kommt, wie XML, und einer der Knoten enthält JSON. Spark liest dies in so einem StringType, so bin ich versucht zu verwenden from_json() zum konvertieren der JSON zu einem DataFrame.

Ich bin in der Lage zu konvertieren einen string mit JSON, aber wie Schreibe ich das schema zu arbeiten mit einem Array?

Strings ohne Array - schön Funktioniert

import org.apache.spark.sql.functions._

val schemaExample = new StructType()
          .add("FirstName", StringType)
          .add("Surname", StringType)

val dfExample = spark.sql("""select "{ \"FirstName\":\"Johnny\", \"Surname\":\"Boy\" }" as theJson""")

val dfICanWorkWith = dfExample.select(from_json($"theJson", schemaExample))

dfICanWorkWith.collect()

//Results \\
res19: Array[org.apache.spark.sql.Row] = Array([[Johnny,Boy]])

String mit einem Array Kann nicht herausfinden this one out

import org.apache.spark.sql.functions._

val schemaExample2 = new StructType()
                              .add("", ArrayType(new StructType()
                                                          .add("FirstName", StringType)
                                                          .add("Surname", StringType)
                                                )
                                  )

val dfExample2= spark.sql("""select "[{ \"FirstName\":\"Johnny\", \"Surname\":\"Boy\" }, { \"FirstName\":\"Franky\", \"Surname\":\"Man\" }" as theJson""")

val dfICanWorkWith = dfExample2.select(from_json($"theJson", schemaExample2))

dfICanWorkWith.collect()

//Result \\
res22: Array[org.apache.spark.sql.Row] = Array([null])
InformationsquelleAutor Dragick | 2017-07-10
  1. 8

    Das problem ist, dass Sie nicht einen vollständig qualifizierten json. Ihre json fehlen ein paar Dinge:

    • Ersten fehlt der umliegenden {}, in dem die json erfolgt
    • Zweiten fehlt der variable Wert (legen Sie es wie "die", aber nicht hinzufügen)
    • Schließlich fehlt der schließen ]

    Versuchen, Sie zu ersetzen mit:

    val dfExample2= spark.sql("""select "{\"\":[{ \"FirstName\":\"Johnny\", \"Surname\":\"Boy\" }, { \"FirstName\":\"Franky\", \"Surname\":\"Man\" }]}" as theJson""")

    und Sie erhalten:

    scala> dfICanWorkWith.collect()
res12: Array[org.apache.spark.sql.Row] = Array([[WrappedArray([Johnny,Boy], [Franky,Man])]])
    InformationsquelleAutor Assaf Mendelson
  2. 1

    als der Funke 2.4 die schema_of_json - Funktion hilft:

    > SELECT schema_of_json('[{"col":0}]');
  array<struct<col:int>>

    in Ihrem Fall können Sie dann den folgenden code zu analysieren, die array-Sohn-Objekte:

    scala> spark.sql("""select from_json("[{ \"FirstName\":\"Johnny\", \"Surname\":\"Boy\" }, { \"FirstName\":\"Franky\", \"Surname\":\"Man\" }]", 'array<struct<FirstName:string,Surname:string>>' ) as theJson""").show(false)
+------------------------------+
|theJson                       |
+------------------------------+
|[[Johnny, Boy], [Franky, Man]]|
+------------------------------+
    InformationsquelleAutor parisni
Schreibe einen Kommentar