speichern dataframe als externe hive-Tabelle

Benutzt habe ich eine Möglichkeit zum speichern dataframe als externe Tabelle mit Parkett-Datei-format, aber gibt es eine andere Möglichkeit zu sparen dataframes direkt als externe Tabelle in hive-wie haben wir saveAsTable für verwaltete Tabelle

InformationsquelleAutor sunil kumar | 2016-05-31
  1. 5

    können Sie dies tun auf diese Weise

    df.schreiben.format("ORC").Optionen(Map("Pfad"-> "yourpath")) saveAsTable "anubhav"

    • Ist dies der PySpark Weg?
    • Funktioniert! aber braucht wenig Korrektur. Es sollte df.schreiben.format("ORC").Optionen(Map("Pfad"-> "yourpath")).saveAsTable ("anubhav") 🙂
    InformationsquelleAutor anubhav
  2. 1

    Für externe Tabelle nicht verwenden saveAsTable. Stattdessen speichern Sie die Daten am Speicherort der externen Tabelle angegeben path. Dann fügen Sie partition so, dass er registriert ist mit hive-Metadaten. Dies ermöglicht es Ihnen, um die hive-Abfrage partition später.


    //hc is HiveContext, df is DataFrame.
    df.write.mode(SaveMode.Overwrite).parquet(path)
    val sql =
    s"""
    |alter table $targetTable
    |add if not exists partition
    |(year=$year,month=$month)
    |location "$path"
    """.stripMargin
    hc.sql(sql)

    InformationsquelleAutor ruhong
  3. -1

    Können Sie auch speichern, dataframe mit Handbuch create table 

    dataframe.registerTempTable("temp_table");
hiveSqlContext.sql("create external table 
   table_name if not exist as select * from temp_table");

    Unten genannten link ist eine gute Erklärung für die Tabelle erstellen https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-table.html

    • Falsch. Sie können nicht erstellen Sie eine externe Tabelle, ohne ein 'Ort'
    InformationsquelleAutor Noman Khan
Schreibe einen Kommentar