Hinzufügen Spaltentitel, um die hive-Ergebnis eingestellt

Ich bin mit einem hive-Skript in Amazon EMR zu analysieren, einige Daten.

Und ich bin mit der übertragung der Ausgabe auf Amazon s3-bucket. Nun die Ergebnisse der hive-Skripts nicht enthalten Spaltenüberschriften.

Habe ich auch versucht, mit Hilfe dieser:

 set hive.cli.print.header=true;

Aber es hilft nicht. Können Sie mir helfen?

  • Wollen Sie die Spaltenüberschriften enthalten in eine output-Datei nur sehen, wie Sie im command-line-interface?
  • Ich möchte Ihnen in der Ausgabe-Datei.
InformationsquelleAutor Sam | 2013-02-28
  1. 8

    Genau das, was tut Ihr hive-Skript Aussehen?

    Nimmt der Ausgang von deinem hive-Skript die header-Daten? Ist es dann verloren gehen, wenn Sie kopieren Sie die Ausgabe auf Ihrem s3-bucket?

    Wenn Sie könnte einige weitere details über genau das, was du tust, das wäre hilfreich.

    Ohne zu wissen, die details, hier ist etwas, das Sie ausprobieren könnten.

    Erstellen Sie Ihre hive-Skript wie folgt:

    USE dbase_name:
SET hive.cli.print.header=true;
SELECT some_columns FROM some_table WHERE some_condition;

    Führen Sie dann das Skript:

    $ hive -f hive_script.hql > hive_output

    Kopieren Sie dann Ihre Ausgabe auf Ihrem s3-bucket

    $ aws s3 cp ./hive_output s3://some_bucket_name/foo/hive_output
    • Hi, sqoop, um Daten aus oracle -, aber nicht das schema /Header. Ich will-schema als Header. Zum Beispiel name,Alter,Wohnort venu,31,Banlgaore srinu,32,Hyderabad ..... llike diese. Wie man das schema in die form von Kopf -, nicht, wie dieses format. Oracle S3 (in sqoop), .. nicht zu lokalen .. auf s3 wie oben formatieren.
    InformationsquelleAutor rchapin
  2. 3

    Ich denke, der direkte Weg ist immer noch unmöglich (HIve: das schreiben der Spaltenüberschriften, um die lokale Datei?).
    Eine Lösung wäre der export Ergebnis DESCRIBE table_name Datei:

    $ hive -e 'DESCRIBE table_name' > file

    Schreiben und einige Skript, fügen Sie den Spaltennamen in Ihrer Daten-Datei. GL!

    InformationsquelleAutor www
  3. 2

    Ich lief in dieses problem heute und war in der Lage zu bekommen, was ich brauchte, durch eine UNION zwischen der ursprünglichen Abfrage und eine neue dummy-Abfrage erstellt die header-Zeile. Ich habe eine Spalte Sortieren klicken Sie auf jedem Abschnitt, und legen Sie den header auf 0 und die Daten auf eine 1, so konnte ich Sortieren nach diesem Feld und sorgen für die header-Zeile kam heraus auf die Oberseite.

    create table new_table as
select 
  field1,
  field2,
  field3
from
(
  select
    0 as sort_col,  --header row gets lowest number
    'field1_name' as field1,
    'field2_name' as field2,
    'field3_name' as field3
  from
    some_small_table  --table needs at least 1 row
  limit 1  --only need 1 header row
  union all
  select
    1 as sort_col,  --original query goes here
    field1,
    field2,
    field3
  from
    main_table
) a
order by 
  sort_col  --make sure header row is first

    Es ist ein wenig sperrig, aber zumindest können Sie bekommen, was Sie brauchen, mit einer einzigen Abfrage.

    Hoffe, das hilft!

    InformationsquelleAutor McLeodComputing
  4. -1

    Es vielleicht nur ein Tippfehler (oder eine version-abhängige änderung), aber Folgendes funktioniert bei mir:

    set hive.cli.print.headers=true;

    Es ist "headers" statt "header"

    InformationsquelleAutor Arkady
Schreibe einen Kommentar