erstellen partition in der externen Tabelle in hive

Habe ich erfolgreich erstellt und Hinzugefügt Dynamische Partitionen in einem Interne Tabelle im hive. D. H. durch mithilfe der folgenden Schritte:

1-schuf eine Quelle der Tabelle

2-geladen-Daten von der lokalen in die Quell-Tabelle

3 - erstellt eine weitere Tabelle mit Partitionen - partition_table

4 - eingefügt, die Daten in diese Tabelle aus Quelle daraus resultierende Tabelle in der Schöpfung von allen Partitionen dynamisch

Meine Frage ist, wie Sie dies in der externen Tabelle? Ich lese so viele Artikel über dieses, aber ich bin verwirrt , das muss ich den Pfad zu den bereits existierenden Partitionen, zum erstellen von Partitionen für externe Tabelle??

Beispiel:
Schritt 1:

create external table1 ( name string, age int, height int)
location 'path/to/dataFile/in/HDFS';

Schritt 2:

alter table table1 add partition(age) 
location 'path/to/already/existing/partition'

Ich bin mir nicht sicher, wie Sie Vorgehen mit der Partitionierung in externen Tabellen. Kann bitte jemand dabei helfen, indem Sie Schritt für Schritt Beschreibung von der gleichen?.

Vielen Dank im Voraus!

ja, Sie müssen den Pfad angeben.

InformationsquelleAutor Anoop Mamgain | 2015-09-15

4

1. Unter Eigenschaft

set hive.exec.dynamic.partition=true

set hive.exec.dynamic.partition.mode=nonstrict

2. Erstellen Sie Externe partitionierte Tabelle

create external table1 ( name string, age int, height int) location 'path/to/dataFile/in/HDFS';

3. Einfügen von Daten in partitionierte Tabelle aus der Quelltabelle.

Grundsätzlich der Prozess ist der gleiche. seine nur, dass Sie erstellen externe partitionierte Tabelle und bieten HDFS Pfad zur Tabelle unter denen Sie erstellen und speichern-partition.

Hoffe, das hilft.
- es hat sicherlich geholfen, pradeep!! funktioniert wie ein Charme!! bekam underdtand sowohl statische als auch dynamische Partitionen in externen Tabellen!!! prost!!
- wo werden Partitionen in der äußeren Tabelle "Tabelle1"?
InformationsquelleAutor pradeep
30

Ja, Sie haben zu sagen, Hive explizit, was ist deine partition Feld.

Betrachten Sie die folgende HDFS-Verzeichnis, in dem Sie möchten, erstellen Sie eine externe Tabelle.
```
/path/to/dataFile/
```
Lassen Sie uns sagen, dass dieses Verzeichnis bereits gespeicherten Daten(partitioniert) Abteilung klug wie folgt:
```
/path/to/dataFile/dept1
/path/to/dataFile/dept2
/path/to/dataFile/dept3
```
Jedes dieser Verzeichnisse, einige Dateien, wo jede Datei
enthält die tatsächlichen Komma-separierte Daten für Felder sagen name,Alter,Größe.
```
e.g.
    /path/to/dataFile/dept1/file1.txt
    /path/to/dataFile/dept1/file2.txt
```
Nun erstellen wir externe Tabelle auf dieser:

Schritt 1. Create external table:
```
CREATE EXTERNAL TABLE testdb.table1(name string, age int, height int)
PARTITIONED BY (dept string)
ROW FORMAT DELIMITED
STORED AS TEXTFILE
LOCATION '/path/to/dataFile/';
```
Schritt 2. Partitionen hinzuzufügen:
```
ALTER TABLE testdb.table1 ADD PARTITION (dept='dept1') LOCATION '/path/to/dataFile/dept1';
ALTER TABLE testdb.table1 ADD PARTITION (dept='dept2') LOCATION '/path/to/dataFile/dept2';
ALTER TABLE testdb.table1 ADD PARTITION (dept='dept3') LOCATION '/path/to/dataFile/dept3';
```
Getan, führen Sie select-Abfrage, einmal zu überprüfen, ob die Daten erfolgreich geladen.
- Vielen Dank für diese tolle Erklärung Sachin!! Nur noch eins. Dies wird eine statische Partitionierung richtig? Wie tun Sie es dynamisch?
- ja, es wäre statischen Partitionierung
InformationsquelleAutor Sachin Gaikwad
0

Befolgen Sie die folgenden Schritte aus:
1. Erstellen Sie eine temporäre Tabelle/Quelle Tabelle
```
create table source_table(name string,age int,height int) row format delimited by ',';
```
  Verwenden Sie Ihre Trennzeichen in der Datei anstelle von ',';
2. Laden von Daten in die Quelltabelle
```
load data local inpath 'path/to/dataFile/in/HDFS';
```
3. Create external table mit partition
```
create external table external_dynamic_partitions(name string,height int) 
partitioned by (age int) 
location 'path/to/dataFile/in/HDFS';
```
4. Ermöglichen die dynamische partition-Modus zu nichtstrikten
```
set hive.exec.dynamic.partition.mode=nonstrict
```
5. Laden von Daten in externe Tabelle mit Partitionen von der Quelle-Datei
```
insert into table external_dynamic partition(age) 
select * from source_table;
```
Das ist es.
Sie können die Partitionen, die Informationen mit
```
show partitions external_dynamic;
```
Können Sie auch überprüfen, ob es sich um eine externe Tabelle oder nicht mit
```
describe formatted external_dynamic;
```
Externe Tabelle ist eine Art von Tabelle in Hive, wo die Daten nicht verschoben, um das hive-warehouse. Das bedeutet, dass selbst wenn U in der Tabelle löschen, werden die Daten weiterhin bestehen und erhalten Sie immer die neuesten Daten, das ist nicht der Fall mit Verwalteten Tabelle.

InformationsquelleAutor bgt

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.