Holen Liste von Datentypen aus einem schema in Apache Spark

Ich habe den folgenden code in Spark-Python, um die Liste der Namen von dem schema eines DataFrame, welche gut funktioniert, aber wie bekomme ich die Liste der Datentypen?

columnNames = df.schema.names

Zum Beispiel, etwas wie: 

columnTypes = df.schema.types

Gibt es eine Möglichkeit, um eine separate Liste der Datentypen, die in einen DataFrame schema?

InformationsquelleAutor User2130 | 2016-05-19
  1. 22

    Hier ist ein Vorschlag:

    df = sqlContext.createDataFrame([('a', 1)])

types = [f.dataType for f in df.schema.fields]

types
> [StringType, LongType]

    Referenz:

    • oder df.printSchema()
    InformationsquelleAutor Daniel de Paula
  2. 5

    Da der Frage-Titel ist nicht python-spezifisch, ich werde hinzufügen scala version hier:

    val tyes = df.schema.fields.map(f => f.dataType)

    Es wird Ergebnis in einem array von org.apache.spark.sql.types.DataType.

    • die tags sind python-obwohl
    InformationsquelleAutor Viacheslav Shalamov
  3. 0

    Schema verwenden.dtypes

    scala> val df = Seq(("ABC",10,20.4)).toDF("a","b","c")
df: org.apache.spark.sql.DataFrame = [a: string, b: int ... 1 more field]

scala>

scala> df.printSchema
root
 |-- a: string (nullable = true)
 |-- b: integer (nullable = false)
 |-- c: double (nullable = false)

scala> df.dtypes
res2: Array[(String, String)] = Array((a,StringType), (b,IntegerType), (c,DoubleType))

scala> df.dtypes.map(_._2).toSet
res3: scala.collection.immutable.Set[String] = Set(StringType, IntegerType, DoubleType)

scala>
    InformationsquelleAutor stack0114106
Schreibe einen Kommentar