Konvertieren Sie das Feld Leer, NULL Hive

Ich versuche zu konvertieren, leere Werte in der Quell-Datei auf NULL in der hive-Tabelle durch das setzen der Eigenschaft 'serialization.null.format' = '' . Die Abfrage die ich geschrieben habe, in hive ist:

create table test(a int, b string) stored as parquet TBLPROPERTIES('serialization.null.format'='');

Und dann Werte einfügen in durch diese impala so etwas wie dieses:

insert overwrite table test values (1, ''), (2, 'b');

Das Ergebnis dieser zeigt so etwas wie dies:

| a | b |


| 1 |   |

| 2 | b |

Kann mir jemand helfen hier, warum ist die leere nicht immer zu NULL umgewandelt ?

InformationsquelleAutor Chirag | 2016-04-01
  1. 1

    Das problem ist das Parkett SerDe. Siehe das Problem bei https://issues.apache.org/jira/browse/HIVE-12362.

    Die Beschreibung ist wie folgt:

    create table src (a string);
insert into table src values (NULL), (''), ('');

0: jdbc:hive2://localhost:10000/default> select * from src;
+-----------+--+
| src.a  |
+-----------+--+
| NULL      |
|                |
|                |
+-----------+--+

create table dest (a string) row format serde 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' stored as INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat';

alter table dest set SERDEPROPERTIES ('serialization.null.format' = '');
alter table dest set TBLPROPERTIES ('serialization.null.format' = '');
insert overwrite table dest select * from src;

0: jdbc:hive2://localhost:10000/default> select * from test11;
+-----------+--+
| test11.a  |
+-----------+--+
| NULL      |
|                |
|                |
+-----------+--+
    InformationsquelleAutor Umberto Griffo
  2. 0

    Könnten Sie versuchen, das einfügen in die Tabelle mit einer Anweisung wie dieser:

    CASE    
when TRIM(a) = ''
THEN NULL
ELSE a
END,
    InformationsquelleAutor Aaron Faltesek
Schreibe einen Kommentar