Erstellen einer partitionierten hive-Tabelle, die von einer nicht partitionierten Tabelle

Habe ich eine Hive-Tabelle, die erstellt wurde durch den Beitritt von Daten aus mehreren Tabellen. Die Daten für diese befindet sich in einem Ordner, die mehrere Dateien ("0001_1" , "0001_2", ... und so weiter). Ich muss eine partitionierte Tabelle erstellt, basierend auf einem Datum-Feld in dieser Tabelle genannt pt_dt (entweder durch Veränderung dieser Tabelle oder einen neuen zu erstellen). Gibt es eine Möglichkeit, dies zu tun?

Habe ich versucht, eine neue Tabelle erstellen und einfügen in es (unten), die nicht arbeiten

create external table table2 (acct_id bigint, eval_dt string)
partitioned by (pt_dt string);
insert into table2
partition (pt_dt) 
select acct_id, eval_dt, pt_dt
from jmx948_variable_summary;

Löst dies den Fehler

"FEHLGESCHLAGEN: Execution Error, return code 2 aus org.apache.hadoop.hive.ql.exec.Herr.MapRedTask
MapReduce-Aufträge Gestartet:
Bühne-Bühne-1: Karte: 189 Kumulative CPU: 401.68 sec HDFS Gelesen: 0 HDFS Schreiben: 0 FAIL
Insgesamt MapReduce CPU-Zeit Verbracht: 6 Minuten 41 Sekunden 680 msec"

InformationsquelleAutor veemo | 2015-08-13
  1. 6

    War in der Lage, um es herauszufinden, nach einigem trial & error.

    Ermöglichen die dynamische Partitionierung in Hive:

    SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

    Create schema für die partitionierte Tabelle:

    CREATE TABLE table1 (id STRING, info STRING)
PARTITIONED BY ( tdate STRING);

    Insert into partitionierte Tabelle :

    FROM table2 t2
INSERT OVERWRITE TABLE table1 PARTITION(tdate)
SELECT t2.id, t2.info, t2.tdate
DISTRIBUTE BY tdate;
    InformationsquelleAutor veemo
  2. 0

    In der version arbeite ich mit folgenden arbeiten (Hive 0.14.0.2.2.4.2-2)

    INSERT INTO TABLE table1 PARTITION(tdate) SELECT t2.id, t2.info, t2.tdate

    Aus der Quell-Tabelle wählen Sie die Spalte, die partitioniert werden muss durch die Letzte, im obigen Beispiel, das Datum ist so gewählt, dass das Letzte Spalte Auswählen. Ebenso, wenn die Anforderungen der Tabelle zu partitionieren, indem Sie in der Spalte "info", dann

    INSERT INTO TABLE table1 PARTITION(info) SELECT t2.id, , t2.tdate, t2.info

    Wenn Sie möchten, um die Tabelle zu erstellen mit mehreren Partitionen der select-Abfrage muss ich das bestellen. Wenn Sie möchten, um die partition der obigen Tabelle mit "Datum" und dann "info"

    INSERT INTO TABLE table1 PARTITION(date, info) SELECT t2.id, , t2.tdate, t2.info

    Mit "info", dann "Datum"

    INSERT INTO TABLE table1 PARTITION(info, date) SELECT t2.id, , t2.info, t2.tdate
    InformationsquelleAutor GreenThumb
Schreibe einen Kommentar