Wenn mehrere Tabellen mit gleichem Präfix im Hive

Ich habe einige Tabellen in hive, die hat die gleiche Vorwahl wie unten..

temp_table_name
temp_table_add
temp_table_area

Gibt es einige Hunderte von Tabellen, wie dies in meiner Datenbank zusammen mit vielen anderen Tabellen.
Ich will zum löschen von Tabellen, beginnt mit "temp_table".
Wißt Ihr, jede Abfrage, die diese Arbeit im Bienenstock?

InformationsquelleAutor Alex Raj Kaliamoorthy | 2016-03-09
  1. 17

    Gibt es keine solche Sache wie reguläre Ausdrücke für drop-Abfragen in hive (oder ich habe Sie nicht finden). Aber es gibt mehreren Möglichkeiten, es zu tun, zum Beispiel :

    • Mit einem shell-Skript :

      hive -e "show tables 'temp_*'" | xargs -I '{}' hive -e 'drop table {}'

    • Oder indem Sie Ihre Tabellen in einer bestimmten Datenbank und löschen der gesamten Datenbank.

      Create table temp.table_name;

Drop database temp cascade;
    • hive -e 'show tables 'temp_*' | xargs -I '{}' hive -e 'drop table {}' ist nicht für mich arbeiten
    • Die Antwort ist perfekt aber es gibt eine kleine änderung, die benötigt wird, die eigentlich für mich gearbeitet. Ich bin ändern @Louxou 's code ein wenig durch das hinzufügen von doppelten Anführungszeichen. Hier ist der aktualisierte code. hive -e "show tables 'temp_*'" | xargs -I '{}' hive -e 'drop table {}'
    InformationsquelleAutor Tremo
  2. 5

    Meine Lösung war das verwenden die bash-script mit folgendem cmd:

    hive -e "SHOW TABLES IN db LIKE 'schema*';" | grep "schema" | sed -e 's/^/hive -e \"DROP TABLE db\./1' | sed -e 's/$/\"/1' > script.sh
chmod +x script.sh
./script.sh
    InformationsquelleAutor HorusH
  3. 5

    Oben genannten Lösungen sind gut. Aber wenn Sie mehrere Tabellen zu löschen, dann läuft 'hive -e drop table' ist langsam. So habe ich dies:

    hive -e 'use db;show tables' | grep pattern > file.hql

    verwenden Sie vim-editor-Datei öffnen.hql und Sie unter die Befehle

    :%s!^!drop table  
:%s!$!;

    führen 

    hive -f file.hql

    Dieser Ansatz ist sehr viel schneller.

    • Wo erwähnen Sie die match-Tabelle Muster hier?
    • Raj Kaliamoorthy - grep 'Muster'
    • Beachten Sie, dass Leerzeichen nach "drop table", wie dieses: drop table .
    InformationsquelleAutor Chandra
  4. 3

    War ich in der Lage, löschen Sie alle Tabellen, die mithilfe der folgenden Schritte in Apache Spark mit Scala: 

    val df = sql("SHOW TABLES IN default LIke 'invoice*'").select("tableName") //to  drop only selected column
val df = sql("SHOW TABLES IN default").select("tableName")
val tableNameList: List[String] = df.as[String].collect().toList
val df2 = tableNameList.map(tableName => sql(s"drop table ${tableName}"))
    InformationsquelleAutor user1977823
  5. 2

    Da hatte ich eine Menge von Tabellen drop-I verwendet den folgenden Befehl ein, inspiriert in der @HorusH Antwort

    hive -e "show tables 'table_prefix*'" | sed -e 's/^/\DROP TABLE db_name\./1' | sed -e 's/$/;/1' > script.sh
hive -f script.sh
    InformationsquelleAutor dirceusemighini
  6. 0

    Versuchen Sie dies:

    hive -e 'verwenden sample_db;show tables' | xargs -I '{}' hive -e 'verwenden sample_db;drop table {}'

    InformationsquelleAutor Ganesh B
  7. 0

    Unten-Befehl auch funktionieren.

     hive -e 'show tables' | grep table_prefix |  while read line; do hive -e "drop table $line"; done
    InformationsquelleAutor kamoor
  8. 0

    Schnellste Lösung durch ein shell Skript:

    drop_tables.sh pattern

    Shell-Skript-Inhalt:

    hive -e 'use db;show tables' | grep $1 | sed 's/^/drop table db./' | sed 's/$/;/' > temp.hql
hive -f temp.hql
rm temp.hql
    InformationsquelleAutor user2359902
Schreibe einen Kommentar