Struktur: parsing JSON

Ich versuche, einige Werte aus der verschachtelten JSON für Millionen von Zeilen (5 TB+ Tabelle). Was ist der effizienteste Weg, dies zu tun?

Hier ist ein Beispiel:

{"country":"US","page":227,"data":{"ad":{"impressions":{"s":10,"o":10}}}}

Brauche ich diese Werte aus der oben genannten JSON:

Country        Page      impressions_s       impressions_o
---------      -----     -------------       --------------
US              2        10                  10

Dies ist Bienenstock json_tuple Funktion, ich bin nicht sicher, ob dies ist die beste Funktion.
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-getjsonobject

InformationsquelleAutor Don P | 2012-09-28
  1. 12

    Können Sie get_json_object:

     select get_json_object(fieldname, '$.country'), 
        get_json_object(fieldname, '$.data.ad.s') from ...

    Erhalten Sie eine bessere Leistung mit json_tuple aber ich fand ein "how to", um die Werte im json-innen json;
    Zum formatieren Ihrer Tabelle, die Sie verwenden können, so etwas wie dieses:

    from table t lateral view
    explode( split(regexp_replace(get_json_object(ln, ''$.data.ad.s'), '\\[|\\]', ''), ',' ) ) tb1 as s

    dieser obige code wandeln Sie ein Array in eine Spalte.

    form mehr: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

    Ich hoffe, dass dies helfen ...

    InformationsquelleAutor Wemerson Cesar
  2. 7

    Hier ist, was können Sie schnell versuchen , würde ich vorschlagen, zu verwenden Json-Ser-De.

    nano /tmp/hive-Parsen von json.json

    {"country":"US","page":227,"data":{"ad":{"impressions":{"s":10,"o":10}}}}

    Erstellen Basistabelle :

    hive > CREATE TABLE hive_parsing_json_table ( json string );

    Laden der json-Datei zu Tisch :

    hive > LOAD DATA LOCAL INPATH  '/tmp/hive-parsing-json.json' INTO TABLE hive_parsing_json_table;

    Abfrage der Tabelle : 

    hive >  select v1.Country, v1.Page, v4.impressions_s, v4.impressions_o 
from hive_parsing_json_table hpjp
     LATERAL VIEW json_tuple(hpjp.json, 'country', 'page', 'data') v1
     as Country, Page, data
     LATERAL VIEW json_tuple(v1.data, 'ad') v2
     as Ad
     LATERAL VIEW json_tuple(v2.Ad, 'impressions') v3
     as Impressions
     LATERAL VIEW json_tuple(v3.Impressions, 's' , 'o') v4
     as impressions_s,impressions_o;

    Ausgabe :

    v1.country  v1.page     v4.impressions_s    v4.impressions_o
US      227     10          10
    • Für die Aufzeichnung (ich habe dies nicht dokumentiert), es wird angezeigt, wenn Sie kombinieren eine LATERAL VIEW - Anweisung mit einer Verknüpfung (z.B. INNER JOIN), der Beitritt muss vor der seitlichen Ansicht (syntaktisch)
    InformationsquelleAutor Sanjiv
  3. 3

    Verwendung von hive native json-serde('org.apache.hive.hcatalog.data.JsonSerDe') können Sie dies.. hier sind die Schritte, die

    ADD JAR /path/to/hive-hcatalog-core.jar;

    create a table as below 
 CREATE TABLE json_serde_nestedjson (
  country string,
  page int,
  data struct < ad: struct < impressions: struct < s:int, o:int  > > >
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe';

    dann load data(gespeichert in der Datei) 

    LOAD DATA LOCAL INPATH '/tmp/nested.json' INTO TABLE json_serde_nestedjson;

    dann bekommen die erforderlichen Daten mit

    SELECT country, page, data.ad.impressions.s, data.ad.impressions.o 
FROM json_serde_nestedjson;
    InformationsquelleAutor Hemantha Kumara M S
  4. 1

    Umsetzung einer SerDe zu analysieren, Ihre Daten im JSON-Format ist der bessere Weg für Ihren Fall.

    Einen tutorial auf, wie zu implementieren SerDe zum Parsen von JSON können hier gefunden werden

    http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/

    Können Sie das folgende Beispiel SerDe Umsetzung sowie

    https://github.com/rcongiu/Hive-JSON-Serde

    InformationsquelleAutor HuntingCheetah
Schreibe einen Kommentar