Export-Hive-Tabelle, csv in hdfs

Ich weiß, es ist ein bekanntes Problem mit Trennzeichen beim speichern einer Tabelle in das csv - (oder andere text-Datei) in den Bienenstock. So Frage ich mich, wenn Euch kann mir helfen, dass rund.

Ich habe eine vorhandene Tabelle (Tabelle A), und ich möchte speichern Sie Sie im csv-format zu hdfs. Aus dem Lesen der anderen Antworten, die ich glaube, ich würde zuerst erstellen Sie eine externe Tabelle (aber ich bin mir nicht sicher, wie die ganze Sache Aussehen würde).

Kann jemand helfen?

  • Persönlich würde ich nur verwenden insert overwrite directory und haben eine \001 Datei mit Trennzeichen. Aber wenn Sie eine csv -, ich glaube, du bist am besten aus Rohrleitungen die Abfrage zu einer lokalen .csv und dann hadoop fs -put-ing in hdfs, das ist hier beschrieben stackoverflow.com/questions/18129581/...
  • Ich möchte vermeiden, speichern eine große Datei in das lokale Verzeichnis, wenn möglich. Mein Problem ist, dass ich dann benötigen, um die Datei zu laden in R, und dies zu tun, die Sie normalerweise geben Sie ein Trennzeichen, nicht sicher, wie das funktionieren würde (oder, wenn es funktionieren würde) mit einem unsichtbaren Charakter.
  • Ich lade Daten aus hdfs zu entfachen, und geben Sie das als Begrenzungszeichen "\001". Ich habe noch nie hatte (ein Grund) für den import einer Datei aus dem HDFS zu R, aber ich würde davon ausgehen, es kann ein beliebiges Trennzeichen, solange es richtig angegeben ist.
InformationsquelleAutor Laura | 2015-05-13
  1. 11

    Versuchen, diese in die hive-shell:

    INSERT OVERWRITE LOCAL DIRECTORY '/path/to/hive/csv' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * FROM hivetablename;

    Ändern Sie Ihre /path/to/csv Sie zu dem Speicherort, wo Sie möchten, speichern csv-Datei. hivetablename zu Ihrer hive-Tabelle gespeichert werden, die im csv-format.

    • Ich denke, Sie will es in hdfs gespeichert, nicht auf dem lokalen fs.
    • In diesem Fall, ohne LOCAL Angabe des HDFS-Pfad sollte den trick tun.
    InformationsquelleAutor Rajesh N
  2. 4

    Diese drei-Schritt-Prozess, arbeitete gut für mich:

    1. HIVE, erstellen Sie einen neuen temporären Tabelle gespeichert als Textdatei

      CREATE TABLE temp_table( id INT, name STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

    2. auch HIVE, schreiben die Quelle der Daten in die temporäre Tabelle 

      INSERT OVERWRITE TABLE temp_table
SELECT id, name FROM source_table;

    3. Aus der Kommandozeile kopieren Sie die Hive-Tabelle, von seinem Standort in HDFS Sie die lokale Datei - Inspektion zeigen, sollten Sie die Datei als csv-Datei (durch umbenennen entsprechend, wenn gewünscht)

      hdfs dfs -copyToLocal /apps/hive/warehouse/temp_table/* /tmp/local_dir/

    Wenn Sie den Befehl ausführen SHOW CREATE TABLE temp_table HIVE, es wird Ihnen sagen, die genaue Position der Tabelle in HDFS, z.B. 

    | LOCATION                                                        |
|   'hdfs://hadoop_cluster/apps/hive/warehouse/temp_table'        |
    InformationsquelleAutor Hendrik F
  3. 1

    Für externe Tabelle in hive, können Sie die unten aufgeführten Schritte:

    1. Erstellen externe Tabelle in hive

      CREATE EXTERNAL TABLE external_table( Nummer INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/hive/extern/mytable/';

    2. Laden Sie die Daten-Datei von der lokalen HDFS-Lage

    hadoop fs -put /home/user1/Desktop/filename.csv /user/hive/external/mytable/

    Den beiden obigen Schritte Ihr problem lösen.

    • wo bin ich bei der Eingabe der vorhandenen Tabelle, die ich erstellt habe? Ich sehe das als erstellen Sie eine leere Tabelle und legt es in das lokale Verzeichnis. Können Sie mehr erklären?
    • LOCATION '/user/hive/extern/mytable/'; die Lage Wert ist der HDFS-Lage-Verzeichnis und NICHT in einem lokalen Verzeichnis. beim verschieben der Datei, also hadoop fs -put /home/user1/Desktop/filename.csv /user/hive/extern/mytable/ , es ist von einem lokalen Verzeichnis aus, um HDFS-Lage-Verzeichnis
    • meine Tabelle ist schon gespeichert in hdfs und kann zugegriffen werden mit einem /user/hive... Weg
    • Wenn Sie Zugriff auf die csv-Datei, die Daten mithilfe von select-Abfrage, und öffnen Sie die csv-Datei mit hadoop fs -cat 'Datei-Pfad' richtig, dann bewegen Sie nun die csv-Datei an den gewünschten Ort, wo Sie wollen.
    InformationsquelleAutor Farooque
Schreibe einen Kommentar