Verwendung der spark-DataFrame "als" Methode

Ich bin auf der Suche spark.sql.DataFrame Dokumentation.

Es ist

def as(alias: String): DataFrame
    Returns a new DataFrame with an alias set.
    Since
        1.3.0

Was ist der Zweck dieser Methode? Wie wird es eingesetzt? Kann es ein Beispiel sein?

Habe ich es nicht geschafft zu finden, etwas über diese Methode, die online-und die Dokumentation ist ziemlich nicht-existent. Ich habe nicht geschafft zu machen, jede Art von alias mit dieser Methode.

InformationsquelleAutor Prikso NAI | 2015-07-21

  1. 19

    Funke <= 1.5

    Es ist mehr oder weniger äquivalent zu der SQL-Tabelle Aliase:

    SELECT *
FROM table AS alias;

    Beispiel, adaptiert von PySpark alias - Dokumentation:

    import org.apache.spark.sql.functions.col
case class Person(name: String, age: Int)

val df = sqlContext.createDataFrame(
    Person("Alice", 2) :: Person("Bob", 5) :: Nil)

val df_as1 = df.as("df1")
val df_as2 = df.as("df2")
val joined_df = df_as1.join(
    df_as2, col("df1.name") === col("df2.name"), "inner")
joined_df.select(
    col("df1.name"), col("df2.name"), col("df2.age")).show

    Ausgabe:

    +-----+-----+---+
| name| name|age|
+-----+-----+---+
|Alice|Alice|  2|
|  Bob|  Bob|  5|
+-----+-----+---+

    Gleiche mit SQL-Abfrage:

    df.registerTempTable("df")
sqlContext.sql("""SELECT df1.name, df2.name, df2.age
                  FROM df AS df1 JOIN df AS df2
                  ON df1.name == df2.name""")

    Was ist der Zweck dieser Methode?

    Ziemlich viel Vermeidung der zweideutigen Spalte Referenzen.

    Spark 1.6+

    Gibt es auch eine neue as[U](implicit arg0: Encoder[U]): Dataset[U] welche verwendet wird zum konvertieren eines DataFrame zu einem DataSet eines bestimmten Typs. Zum Beispiel:

    df.as[Person]
    Danke. Ich hatte den Eindruck, es ist für das aliasing Spalten irgendwie. Ich werde keine Antwort Frage.

    InformationsquelleAutor zero323

Schreibe einen Kommentar