Hive-laden in partitionierten Tabelle

Habe ich eine log-Datei in HDFS Werte sind durch Komma getrennt. Zum Beispiel:

2012-10-11 12:00,opened_browser,userid111,deviceid222

Nun will ich diese Datei laden, um Hive-Tabelle, die Spalten "timestamp","action" und partitioniert, die durch "userid","deviceid". Wie kann ich Fragen, Bienenstock zu nehmen, die letzten 2 Spalten in der log-Datei als partition für die Tabelle? Alle Beispiele e.g. "hive> LOAD DATA INPATH '/user/myname/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');" erfordern die definition von Partitionen in das Skript, aber ich möchte Partitionen einrichten, die automatisch von HDFS-Datei.

Die eine Lösung ist die Erstellung einer intermediate-nicht-partitionierten Tabelle mit 4 Spalten, füllen Sie es aus Datei-und dann machen Sie ein INSERT into first_table PARTITION (userid,deviceid) select from intermediate_table timestamp,action,userid,deviceid; aber das ist und zusätzliche Aufgabe-wir haben 2 sehr ähnliche Tabellen.. Oder sollten wir Sie "create external table" als Zwischenprodukt.

Schreibe einen Kommentar