Sqoop zu create table schema mit "sqoop erstellen einer hive-Tabelle"

Ich habe mit sqoop erstellen-hive-table-Befehl mit den entsprechenden Argumenten, die würde kopieren Sie die Tabelle schema von mysql oder jede RDBMS-in-Struktur. Heute stieß ich auf eine Anforderung, wo ich zu verwenden habe

"sqoop erstellen einer hive-Tabelle" zusammen mit-hive-partition-key create table schema mit partition-Spalte angegeben. Die sqoop Befehl, den ich verwendet:

sqoop erstellen einer hive-Tabelle --connect jdbc:mysql://localhost/XYZ \
--username-XYZ --password password \
--Tabelle POC_XYZ_Partition \
--hive-Tabelle POC_XYZ.POC_Datatype_Mapping_Sodhi \
--hive-partition-key join_date \
--fields-terminated-by ',' --lines-terminated-by '\n'

welche fehlerhaft mit der Fehlermeldung:

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.IllegalArgumentException: Partition key join_date cannot be a column to import.

Ich weiß partition Schlüssel sollte nicht ein Teil der create table-Befehl, aber ich habe ganz vergessen, dass.

Gefunden habe ich dann ein work-around und nicht:

sqoop create-hive-table --connect jdbc:mysql://localhost/XYZ \
--username XYZ --password password \
--table POC_XYZ_Partition \
--hive-table POC_XYZ.POC_Datatype_Mapping_Sodhi \
--hive-partition-key join_date_partition \
--fields-terminated-by ',' --lines-terminated-by '\n'

Oben erstellt das schema, aber später, wenn ich versuchte, laden von Daten aus mysql in hdfs ist es unter Berücksichtigung der join_date_partition ein Teil der mysql-Tabelle, und nicht immer die Daten aus der mysql.

Ich habe versucht, viele Lösungen wie:

sqoop import --connect jdbc:mysql://localhost/XYZ \
--username XYZ --password password \
--query 'select a.*, a.join_date as join_date_partition from POC_XYZ_Partition a WHERE $CONDITIONS' \
--split-by id \
--hcatalog-database POC_XYZ \
--hcatalog-table POC_XYZ_Partition;

aber konnte nicht importiert werden die Daten aufgrund eines Fehlers in sqoop, die nicht erlauben würde, mich zu duplizieren die Namen der Spalten in sqoop.

Hat jemand vor das Problem und es behoben? Wenn so, schlagen Sie bitte

InformationsquelleAutor Maverick4U | 2014-10-02
  1. 1

    Scheint es, dass -hive-partition-key (und Wert) nur nicht egal, für das hochladen von Daten in die Tabelle, aber nicht für die Erstellung der Tabelle. Dies zwingt auch zu einer Last, die nur in eine einzige partition auf Zeit.

    Aber Sie könnten versuchen, zu tun, Ihre Aufgabe in mehreren Schritten:

    1. Erstellen Sie eine partitioned_table.
    2. Laden von Daten von sqoop mit -create-hive-table in plain hive plain_table.
    3. Laden von Daten in partitionierte Tabelle mit so etwas wie:

    INSERT OVERWRITE TABLE partitioned_table
    PARTITION(partitionColumn)
    SELECT col1, ... colN, partitionColumn
    FROM plain_table;

    • Hive stellt die partitionierte Spalte physisch als Ordner und die Daten in die entsprechenden Ordner. Das problem ist nicht das laden von Daten in die Tabelle. Das eigentliche problem ist die partition Schlüssel auch ein Wert der Daten zusammen mit der Ordner erstellt wird. Ich denke auch -erstellen einer hive-Tabelle nicht laden der Daten, sondern nur das erstellen der hive-Tabelle schema. Da fanden wir heraus, dass dies ein Fehler war, gingen wir mit einer Lösung müssen Sie einen anderen Namen für die partition-Taste, um es als einen Teil der Daten und auch als partition-Taste.
    • Partitionen Werte enthalten: Ordner werden als 'month=SEP' wo 'Monat' ist partition Spalte name und die 'SEP', ist sein Wert (zumindest ist es wahr, für hive 0.13).
    InformationsquelleAutor arghtype
Schreibe einen Kommentar