Erstellen von HIVE-Tabelle mit multi-character delimiter

Möchte ich zum erstellen einer HIVE-Tabelle mit multi-string-Zeichen als Trennzeichen, wie

CREATE EXTERNAL TABlE tableex(id INT, name STRING) 
ROW FORMAT delimited fields terminated by ','
LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/user/myusername';

Ich will Trennzeichen als ein multi-string-like "~*".

  • UND WIEDER EINE SQL-FRAGE MIT EINEM ÜBERFLÜSSIGEN ALL-CAPS TITEL. GEEZ.
InformationsquelleAutor Varun Gupta | 2013-09-21
  1. 10

    FILELDS TERMINATED BY unterstützt keine multi-Charakter-Trennzeichen. Der einfachste Weg dies zu tun ist die Verwendung RegexSerDe:

    CREATE EXTERNAL TABlE tableex(id INT, name STRING) 
ROW FORMAT 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "^(\\d+)~\\*(.*)$"
)
STORED AS TEXTFILE 
LOCATION '/user/myusername';
    • Danke Hari, ich bin mir bewusst über SerDe. Aber das problem mit SerDe ist, dass ich nicht in der Lage, erstellen Sie verknüpfte server-Verbindung auf SSMS mit Hive-Tabellen. Tun Sie, wie lösen das Problem?
    • Ich habe nicht gearbeitet SSMS, so kann ich nicht sicher sagen. Aber warum denkst du ist es ein problem mit SerDe? Ich würde denken, dass ist ein separates problem, nicht wahr?
    • Ich hatte ein ähnliches Problem und war in der Lage, eine Tabelle erstellen, die erfolgreich mit dieser Antwort, sondern lief in Probleme bei Abfragen mit Aggregationen. Einige Graben und ich landete Lösung mit der änderung der "org.apache.hadoop.hive.contrib.serde2.RegexSerDe" zu "org.apache.hadoop.hive.serde2.RegexSerDe"
    InformationsquelleAutor Hari Menon
  2. 6

    Nutzen Sie bitte MultiDelimitSerde

    CREATE EXTERNAL TABlE tableex(id INT, name STRING) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES ("field.delim"="~*")
STORED AS TEXTFILE
LOCATION '/user/myusername';
    • Ist es csv serde , Können Sie kümmern sich um Felder mit multi-line-Kommentare. wenn fields escaped mit backslash und Feld zitiert in doppelten Anführungszeichen.
    InformationsquelleAutor Aditya
Schreibe einen Kommentar