Temp-Tabelle Zwischenspeichern mit spark-sql

Ist eine Tabelle registriert mit registerTempTable (createOrReplaceTempView mit Funke 2.+) zwischengespeichert?

Verwendung von Zeppelin, registriere ich eine DataFrame in mein scala-code, nach der Berechnung, und dann innerhalb %pyspark ich darauf zugreifen möchten, und weitere filter.

Wird es einen memory-Cache-version der Tabelle? Oder wird es neu erstellt werden jedes mal?

InformationsquelleAutor Cedric H. | 2016-08-31

  1. 17

    Registrierten Tabellen werden nicht im Arbeitsspeicher zwischengespeichert.

    registerTempTable createOrReplaceTempView Methode wird nur erstellen oder zu ersetzen, angesichts der gegebenen DataFrame mit einem gegebenen query-plan.

    Wird es konvertiert die Abfrage-plan zu kanonisierten SQL-string und speichern Sie es als text in metastore, wenn wir brauchen, um eine permanente anzeigen.

    Müssen Sie den cache Ihres DataFrame ausdrücklich. e.g :

    df.createOrReplaceTempView("my_table") # df.registerTempTable("my_table") for spark <2.+
spark.cacheTable("my_table")

    EDIT:

    Veranschaulichen wir das mit einem Beispiel :

    Mit cacheTable :

    scala> val df = Seq(("1",2),("b",3)).toDF
//df: org.apache.spark.sql.DataFrame = [_1: string, _2: int]

scala> sc.getPersistentRDDs
//res0: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = Map()

scala> df.createOrReplaceTempView("my_table")

scala> sc.getPersistentRDDs
//res2: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = Map()

scala> spark.cacheTable("my_table")

scala> sc.getPersistentRDDs
//res4: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = Map(2 -> In-memory table my_table MapPartitionsRDD[2] at cacheTable at <console>:26)

    Nun das gleiche Beispiel mit cache.registerTempTable cache.createOrReplaceTempView :

    scala> sc.getPersistentRDDs
//res2: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = Map()

scala> val df = Seq(("1",2),("b",3)).toDF
//df: org.apache.spark.sql.DataFrame = [_1: string, _2: int]

scala> df.createOrReplaceTempView("my_table")

scala> sc.getPersistentRDDs
//res4: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = Map()

scala> df.cache.registerTempTable("my_table")

scala> sc.getPersistentRDDs
//res6: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = 
//Map(2 -> ConvertToUnsafe
//+- LocalTableScan [_1#0,_2#1], [[1,2],[b,3]]
// MapPartitionsRDD[2] at cache at <console>:28)
    So df.cache.registerTempTable ist eigentlich nutzlos?

    InformationsquelleAutor eliasah

  2. 4

    Ist es nicht. Sie sollten cache explizit:

    sqlContext.cacheTable("someTable")

    InformationsquelleAutor

Schreibe einen Kommentar