Wie ein ORC Datei in Hive-CDH?
Ich kann einfach erzeugen ein ORC Datei-format von Apache Hadoop oder Hortonworks' HDP:
CREATE TABLE ... STORED AS ORC
Aber dies funktioniert nicht Cloudera ' s die CDH 4.5. (Überraschung!) Ich:
FEHLGESCHLAGEN: SemanticException Unbekannte Datei-format GESPEICHERT Klausel: ORC
So als alternative, ich habe versucht, downloaden und installieren Sie die Hive-jar enthält die ORC Klassen:
hive> add jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hive/lib/hive-exec-0.11.0.jar;
Dann meine ORK-Tabelle:
hive> CREATE TABLE test (name STRING)
> row format serde
> 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
> stored as inputformat
> 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
> outputformat
> 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat';
OK
Aber beim einstecken in dieser Tabelle von einigen der CSV-Daten, erhalte ich eine Fehlermeldung:
hive> INSERT OVERWRITE TABLE test
> SELECT name FROM textdata;
Diagnostic Messages for this Task:
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:413)
Wie sollte ich ein ORK-Tabelle in Hive in CDH?
InformationsquelleAutor matthieu lieber | 2014-01-25
Du musst angemeldet sein, um einen Kommentar abzugeben.
CDH 4.5 enthält Hive 0.10, siehe CDH, Version 4.5.0, Verpackungs-und tar-Archive (Tarballs. ORC wurde in Hive 0.11 finden Sie release notes und HIVE-3874: Erstellen Sie eine neue Optimized Row Columnar-Datei-format für Hive.
CDH 5 ist in der Beta jetzt, aber es enthält Hive 0.11 finden Sie CDH-Version 5.0.0 Beta 1.
InformationsquelleAutor Remus Rusanu