Tag: hive

Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.

Wie Suche ich nach einem Element in einem array in Hive?

Anzahl der Antworten 3 Antworten
Verwendung von Hive habe ich eine Tabelle erstellt mit den folgenden Feldern: ID BIGINT, MSISDN ZEICHENKETTE, TAG TINYINT, MONAT TINYINT, JAHR INT, GESCHLECHT TINYINT, RELATIONSHIPSTATUS TINYINT, BILDUNG STRING, LIKES_AND_PREFERENCES STRING Diese war gefüllt mit Daten über den

Der Suche nach der ersten Zeile in einer Gruppe mit Hive

Anzahl der Antworten 3 Antworten
Für eine Schüler-Datenbank im folgenden format Roll Number | School Name | Name | Age | Gender | Class | Subject | Marks So finden Sie heraus, wer bekam die höchste für jede Klasse? Die folgenden Abfrage

speichern Funke dataframe zu Hive: Tabelle nicht lesbar, da "Parkett nicht SequenceFile"

Anzahl der Antworten 4 Antworten
Ich würde gerne zum speichern von Daten in einer Spark (v 1.3.0) dataframe, um eine Hive-Tabelle mit PySpark. Den Dokumentation Staaten: "der Funke.sql.hive.convertMetastoreParquet: Wenn auf false gesetzt, Spark SQL verwenden Sie die Hive-SerDe für Parkett-Tabellen anstelle der

format für das heutige Datum in der Struktur im format yyyymmdd

Anzahl der Antworten 2 Antworten
Ich bin beim schreiben einer hive-Abfrage um die Daten aus der heutigen partition. Hier ist meine Abfrage: select * from testtable where data_dt ='date +%Y%m%d'; Ich brauche Hilfe beim konvertieren von Datum zu yyyyMMdd format. Vielen Dank.

Wie verwenden von sqoop zum exportieren der Standard-hive-getrennte Ausgabe?

Anzahl der Antworten 4 Antworten
Habe ich eine hive-Abfrage: insert override directory /x select ... Bin ich dann versuchen, exportieren Sie die Daten mit sqoop sqoop export --connect jdbc:mysql://mysqlm/site --username site --password site --table x_data --export-dir /x --input-fields-terminated-by 0x01 --lines-terminated-by '\n' Aber

Was hive-site.xml einschließlich der in $SPARK_HOME aussieht?

Anzahl der Antworten 4 Antworten
Ich bin ein Anfänger auf hive, sowas passiert (kann nicht finden, Tisch), wenn ich starte spark job und Lesen von Daten aus dem Bienenstock. Ich nicht setzen hive-site.xml in $SPARK_HOME/conf ? Einreichen der Funke job-Befehl ist hier

Start-hive-metastore

Anzahl der Antworten 2 Antworten
Wir versuchen, starten Sie den hive-metastore auf unserem Linux-Server, aber wir stehen vor einem Problem. Wenn wir versuchen, starten Sie den hive-metastore-service mit folgendem Befehl: sudo hive-service metastore erhalten wir Unmengen von Fehlern wie diesem: Verursacht durch:

Nicht in der Lage zu Erstellen, Tabelle in HIVE-Lesen einer CSV-von HDFS

Anzahl der Antworten 4 Antworten
Ich habe Probleme beim erstellen einer Tabelle in Hive durch das Lesen der .csv-Datei aus dem HDFS. Die Abfrage ist unter: CREATE EXTERNAL TABLE testmail (memberId String , email String, sentdate String,actiontype String, actiondate String, campaignid String,campaignname

Einfügen, überschreiben partition in der Hive-Tabelle - Werte immer dupliziert

Anzahl der Antworten 2 Antworten
Erstellte ich eine Hive-Tabelle mit Nicht-partition Tabelle und mit select-Abfrage, die ich eingefügt-Daten in Partitioniert Hive-Tabelle. Refered Website Durch folgenden oben genannten link meine partition-Tabelle doppelte Werte enthält. Unten sind die setps Dies ist mein Beispiel employee-Datensatz:link1

Finden Sie die Port-Nummer und Domain-Namen, um eine Verbindung zum Hive-Tabelle

Anzahl der Antworten 3 Antworten
Ich bin neu auf Hive, MapReduce und Hadoop. Ich bin mit Putty eine Verbindung zum hive-Tabelle und access-Datensätze in den Tabellen. Also, was ich gemacht habe ist - ich Putty geöffnet und in die host-Namen, die ich

Links und rechts Aliase begegnet im Hive BEIZUTRETEN; ohne jegliche Ungleichheit-Klausel

Anzahl der Antworten 3 Antworten
Verwende ich folgende Abfrage: Select S.MDSE_ITEM_I, S.CO_LOC_I, MAX(S.SLS_D) as MAX_SLS_D, MIN(S.SLS_D) as MIN_SLS_D, sum(S.SLS_UNIT_Q) as SLS_UNIT_Q, MIN(PRSMN_VAL_STRT_D) as PRSMN_VAL_STRT_D, MIN(PRSMN_VAL_END_D) as PRSMN_VAL_END_D, MIN(RC.FRST_RCPT_D) as FRST_RCPT_D, MIN(RC.CURR_ACTV_FRST_OH_D) as CURR_ACTV_FRST_OH_D, MIN(H.GREG_D) as OH_GREG_D from eefe_lstr4.SLS_TBL as S left outer

Hive-QL-Ausnahme-Klausel

Anzahl der Antworten 1 Antworten
Wie mache ich eine EXCEPT - Klausel (wie SQL) in Hive-QL Ich habe 2 Tabellen, und jede Tabelle ist eine Spalte mit eindeutigen ids. Möchte ich die Liste der ids, die nur in Tabelle 1 aber nicht

Wie Sie ein Glas in zeppelin?

Anzahl der Antworten 4 Antworten
Wie Sie ein Glas in Zeppelin für %hive-interpreter? Habe ich versucht %z.dep(''); add jar <jar path> Auch zeppelin-hive-interpreter wirft ClassNotFoundException Hinzufügen ./interpreter/hive/ Durchführungen Sparsamkeit Ausnahme, während add jar sagt Datei nicht gefunden. Wie es zu tun? Ich

- Hadoop-Hive-Abfrage: Multi-beitreten

Anzahl der Antworten 2 Antworten
Wie kann ich sub-Auswahl im Bienenstock? Ich glaube, ich könnte machen ein ganz offensichtlicher Fehler, der nicht so offensichtlich für mich... Fehler ich erhalte: FAILED: Parse Error: line 4:8 cannot recognize input 'SELECT' in expression specification Hier

Herstellen einer JDBC-Verbindung zu Hive aus Eclipse

Anzahl der Antworten 1 Antworten
Ich versuche zum herstellen einer JDBC-Verbindung zu Hive, so dass ich kann anzeigen und Tabellen erstellen und Abfragen von Hive-Tabellen von Eclipse. Ich verwendet HiveClient Beispielcode: https://cwiki.apache.org/confluence/display/Hive/HiveClient Dann fügte ich alle erforderlichen jar-Dateien zum java build path

Warum ist Select Count(*) langsamer als Select * hive

Anzahl der Antworten 3 Antworten
Wenn ich das ausführen von Abfragen in VirtualBox Sandbox mit Bienenkorb. Ich fühle mich Select count(*) ist auch viel langsamer als die Select *. Kann mir jemand erklären, was hinten Los ist? Und warum diese Verzögerung ist

Bienenkorb - wie man externe hive-Tabelle zusammen mit den Daten

Anzahl der Antworten 6 Antworten
Ich bin mit drop table <table_name> Wenn ich das neu erstellen der Tabelle mit dem gleichen schema und der name, bin ich immer die alten Daten zurück. Soll ich die Tabelle entfernen Verzeichnis von hdfs-Dateisystem, um vollständig

Nicht in der Lage zu laufen UDF auf dem hive server

Anzahl der Antworten 3 Antworten
Ich bin mit Bienenstock-thrift-server-Modus. Ich habe eine UDF-Datei in eine jar-Datei, die ich versuche, durch laufen add jar <path to jar> create temporary function func_name as 'com.test.udf.UDF_CLASS' Jedoch, wenn ich die temporäre Funktion Befehl bekomme ich eine

Hive-Abfrage, um Datensätze zwischen zwei Daten von einem string-Typ

Anzahl der Antworten 3 Antworten
Ich versuche Abfrage eine Tabelle mit den Feldern st_date und end_date auf Farbton. Diese Felder nehmen in string-Werte eingeben z.B. '2014-04-04', '2009-10-10' etc. Angenommen, ich möchte, um Datensätze zu finden zwischen st_date = 2014-04-04' and end_date =

HiveQL INNER JOIN

Anzahl der Antworten 1 Antworten
Ich versuche eine einfache INNER-JOIN zwischen zwei Tabellen in Hive. Ich habe eine Tabelle AUFTRÄGE und der andere ist eine LOG-Tabelle. Dies ist die Struktur der beiden: BESTELLUNGEN: id_operacion string fecha string id_usuario string id_producto string unidades

Bienenkorb - Wie sehen Sie die erstellte Tabelle in metastore?

Anzahl der Antworten 4 Antworten
Hier ist unser setup - Wir haben die Struktur, die verwendet MySQL auf einer anderen Maschine als metastore. Ich kann die Hive-Befehlszeilen-shell und erstellen Sie eine Tabelle ein und beschreiben Sie es. Aber wenn ich mich einloggen

Alter column data-type-in-Hive -

Anzahl der Antworten 3 Antworten
müssen wir ändern, um die Tabelle der Spalte Datentyp von string in date. Während versuche, erhalte die folgende Fehlermeldung. Könnten Sie bitte helfen. hive - > beschreiben sales_staging; OK cust_id string prod_num string qty int sale_date string

Wie legen Sie einen Zeitstempel in eine Hive-Tabelle?

Anzahl der Antworten 2 Antworten
Habe ich Folgendes: hive> CREATE TABLE foo (bar timestamp) STORED AS ORC; OK Time taken: 0.041 seconds hive> INSERT INTO TABLE foo VALUES ('2014-01-17 00:17:13'); NoViableAltException(26@) at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:742) at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:40184) at org.apache.hadoop.hive.ql.parse.HiveParser.singleSelectStatement(HiveParser.java:38048) at org.apache.hadoop.hive.ql.parse.HiveParser.selectStatement(HiveParser.java:37754) at org.apache.hadoop.hive.ql.parse.HiveParser.regularBody(HiveParser.java:37654) at

Hive Query Execution Error, return code 3 von MapredLocalTask

Anzahl der Antworten 3 Antworten
Bin ich immer diese Fehlermeldung beim ausführen einer einfachen join zwischen zwei Tabellen. Ich ausführen dieser Abfrage in der Hive-Befehlszeile. Ich bin Benennung der Tabelle als a & b. Tabelle a-Hive-interne Tabelle und b ist die Externe

Ausführen von hive-Abfragen und job-Informationen sammeln

Anzahl der Antworten 1 Antworten
Ich würde gerne eine Liste der erstellten HIVE-Abfragen. Für jeden, ich möchte zum abrufen der HERR job_id (oder ids im Falle von mehreren Stufen). Und dann, mit diesem job_id, das sammeln von Statistiken von job-tracker (kumulative CPU,

Nicht in der Lage, um zu sehen, erstellt Datenbank-Struktur im angegebenen Speicherort

Anzahl der Antworten 3 Antworten
Ich bin neu auf Hive. Ich habe eine Datenbank in der Struktur und standardmäßig ist die Datenbank erstellt, in Hive-warehouse. Wenn ich die ls gegen Hive-Warehouse-ich bin in der Lage, um zu sehen, erstellt Datenbank-Praxis.db. Abfrage Verwendet,

so wählen Sie Daten aus dem Bienenstock mit bestimmten partition?

Anzahl der Antworten 2 Antworten
jeder. hier sind die Wechselwirkungen mit der Struktur: hive> show partitions TABLENAME pt=2012.07.28.08/is_complete=1 pt=2012.07.28.09/is_complete=1 pt=2012.07.28.10/is_complete=1 pt=2012.07.28.11/is_complete=1 hive> select * from TABLENAME where pt='2012.07.28.10/is_complete=1' limit 1; OK Time taken: 2.807 seconds hive> select * from TABLENAME where pt='2012.07.28.10'

Wie Sie auf das Letzte element in einem array ?

Anzahl der Antworten 4 Antworten
In meinem hive-Tabelle, die session - Feld ist ein string im format wie: ip-sessionID-userID oder area-sessionID-userID Gibt es 3 oder 4 Felder getrennt durch "-", aber die userID ist immer der Letzte. ich will select userID, aber

Wie man die URL für Hive-Web-Interface

Anzahl der Antworten 3 Antworten
Sorry, es ist vielleicht eine grundlegende Frage. Ich habe versucht zu googeln, konnte aber nichts finden genau die Lösung, die Ich versuche herauszufinden, URL für meine Hive-web-interface. Durch diese kann ich überprüfen Sie die Tabellen in Ihr

Laden der JSON-Datei in der HIVE-Tabelle

Anzahl der Antworten 3 Antworten
Habe ich eine JSON-Datei wie unten, die ich laden will in eine HIVE-Tabelle mit den analysierten format, was sind mögliche Optionen, die ich gehen kann. Wenn es AVRO dann hätte ich direkt AvroSerDe. Aber die Quelldatei in

Hive-QL - Begrenzung der Anzahl der Zeilen pro Artikel

Anzahl der Antworten 1 Antworten
Wenn ich mehrere Gegenstände, die in einer where-Klausel Wie würde man gehen, über die Begrenzung der Ergebnisse zu N für jedes Element in der Liste? EX: select a_id,b,c, count(*), as sumrequests from table_name where a_id in (1,2,3)

RANG ÜBER die Funktion im Bienenstock

Anzahl der Antworten 3 Antworten
Ich versuche, diese Abfrage ausführen im Hive wieder nur die top-10-url, die öfter erscheinen, in der adimpression Tabelle. select ranked_mytable.url, ranked_mytable.cnt from ( select iq.url, iq.cnt, rank() over (partition by iq.url order by iq.cnt desc) rnk from

Wie erlauben Sie Struktur.mapred.Modus=nichtstrikten?

Anzahl der Antworten 1 Antworten
Ich versuche dies ausführen einer Abfrage mit einer JOIN ohne ON Eigenschaft. Ich bin mit der Anfrage wie folgt: hive -v -f my_file.hql Bekam ich diese Meldung: Im strict-Modus, das kartesische Produkt ist nicht erlaubt. Wenn Sie

Abfrage der struct-array mit Struktur (get_json_object) oder json serde

Anzahl der Antworten 1 Antworten
Ich versuche eine Abfrage der folgenden JSON-Beispiel-Datei gespeichert auf meinem HDFS { "tag1": "1.0", "tag2": "blah", "tag3": "blahblah", "tag4": { "tag4_1": [{ "tag4_1_1": [{ "tag4_1_1_1": { "Addr": { "Addr1": "blah", "City": "City", "StateProvCd": "NY", "PostalCode": "99999" }

Hive: Summe über eine bestimmte Gruppe (HiveQL)

Anzahl der Antworten 5 Antworten
Ich habe eine Tabelle: key product_code cost 1 UK 20 1 US 10 1 EU 5 2 UK 3 2 EU 6 Ich möchte die Summe aller Produkte für jede Gruppe von "key" und "anfügen", um jede

Ab hiveserver2

Anzahl der Antworten 2 Antworten
Ich versuche zu laufen hiveserver2 auf meine hadoop-cluster so, dass ich kann auf hive über jdbc. Ich führen Sie den folgenden Befehl ein: $HIVE_HOME/bin/hiveserver2. Das nicht alles loggen, was auf STDOUTPUT aber beginnt ein Prozess, der läuft,

Anfragen hängen, wenn mit Hiveserver2 Sparsamkeit Java-client

Anzahl der Antworten 1 Antworten
Dies ist ein follow-up-Frage zu diese Frage, wo ich Fragen, was die Hiveserver 2 secondhand-java-client-API ist. Diese Frage sollte in der Lage zu stehen ohne hintergrund, wenn Sie nicht mehr benötigen Kontext. Nicht in der Lage zu

String zum Anzeigen Conversion-Hive -

Anzahl der Antworten 1 Antworten
Ich habe eine Tabelle mit vier Spalten. C1 C2 C3 C4 -------------------- x1 y1 z1 d1 x2 y2 z2 d2 Will ich jetzt umwandeln in map-Datentyp mit Schlüssel-Wert-Paaren und laden Sie in die separate Tabelle. create table

Stellt JDBC eine maximale Ergebnismenge Größe?

Anzahl der Antworten 1 Antworten
Gibt es eine maximale Anzahl von Zeilen, die eine JDBC-wird in einem ResultSet-speziell aus einer Hive-Abfrage? Ich spreche nicht von der fetch-Größe oder paging -, aber die Gesamtzahl der zurückgegebenen Zeilen in einem ResultSet. Mich korrigieren, wenn

Versuch zu tun, aktualisieren oder löschen, indem Sie Transaktions-manager nicht unterstützt diese Vorgänge

Anzahl der Antworten 1 Antworten
Während Sie versuchen zum aktualisieren von Daten in Hive-Tabelle in Cloudera Quickstart VM, ich bin immer diese Fehlermeldung. Fehler beim kompilieren Anweisung: FEHLER: SemanticException [Fehler 10294]: Versuchen zu tun, aktualisieren oder löschen, indem Sie Transaktions-manager nicht unterstützt

Hive-cast von string zu Datum TT-MM-JJJJ

Anzahl der Antworten 4 Antworten
Wie kann ich warf einen string im format 'dd-MM-yyyy' um ein Datum auch in dem format 'dd-MM-yyyy' Hive? Etwas entlang der Linien von: CAST('12-03-2010' as date 'dd-mm-yyyy') Es gibt keine solche Sache wie ein "date Typ mit

Hive-Query - verknüpfen von zwei Tabellen auf drei-Beitritt Bedingungen mit dem or-operator

Anzahl der Antworten 2 Antworten
Ich bin vor ein Fehler "FAILED: Error in semantic analysis: Line 1:101 OR not supported in JOIN currently dob" während der Ausführung der unten genannten Abfrage.. Insert Overwrite Local Directory './Insurance_Risk/Merged_Data' Select f.name,s.age,f.gender,f.loc,f.marital_status,f.habits1,f.habits2,s.employement_status,s.occupation_class,s.occupation_subclass,s.occupation from sample_member_detail s Join

Unterschied zwischen partition und index im hive

Anzahl der Antworten 2 Antworten
Ich bin neu in hadoop und hive und ich würde wissen, was ist der Unterschied zwischen index und die partition, in hive? Wenn ich mit index und, wenn die partition? Danke! InformationsquelleAutor sonia | 2015-02-09

Hive: Wie man eine SELECT-Abfrage für die Ausgabe der eindeutige Primärschlüssel mit HiveQL?

Anzahl der Antworten 2 Antworten
Habe ich Folgendes schema dataset, das will ich verwandeln in eine Tabelle, die exportiert werden können, um SQL. Ich bin mit HIVE. Eingabe wie folgt call_id,stat1,stat2,stat3 1,a,b,c, 2,x,y,z, 3,d,e,f, 1,j,k,l, Den output-Tabelle haben muss, um call_id als

Löschen Sie eine Datenbank mit Tabellen in Hive

Anzahl der Antworten 3 Antworten
Ich habe eine Datenbank in hive, die mit rund 100 Tabellen. Ich möchte zum löschen der gesamten Datenbank in einem einzigen Schuss Abfrage. Wie können wir erreichen, dass im Hive? tutorialspoint.com/hive/hive_drop_database.htm ? InformationsquelleAutor | 2017-02-09

Hive DISTINCT() für alle Spalten?

Anzahl der Antworten 2 Antworten
Wollte ich Klärung, wie UNTERSCHIEDLICHE arbeiten, mit einem Spielzeug Beispiel unten. Angenommen Sie haben eine Tabelle so mit 2 Spalten und nur 2 Reihen von Daten: SELECT * FROM table1; colA colB A B A C Nehmen

Export in eine CSV-HIVE -

Anzahl der Antworten 3 Antworten
Habe ich einige Daten in HIVE, und ich möchte sehen, wie es in LibreOffice. Wie kann ich diese Daten exportieren und später importieren Sie Sie auf Libreoffice Herzlich willkommen auf StackOverflow! Was haben Sie versucht, so weit

Struktur: SELECT und GROUP BY

Anzahl der Antworten 2 Antworten
Habe ich eine Hive-Abfrage wie SELECT Year, Month, Day, Hours, Minutes, cast((cast(Seconds as int)/15) as int)*15 AS secondMod, Count(*) AS PerCount FROM LoggerTable GROUP BY Year, Month, Day, Hours, Minutes, secondMod ORDER BY PerCount; obige Abfrage mit

Kann keine Verbindung zum beeline hive2

Anzahl der Antworten 2 Antworten
Hadoop 2.7.3 & Hive 2.1.0 Ich bin in der Lage, eine Verbindung zu beeline, wie dies !connect jdbc:hive2:// Aber wenn ich !connect jdbc:hive2://hostname:10000/default org.apache.hive.jdbc.HiveDriver oder !connect jdbc:hive2://hostname:10000/default Nach Angabe von Benutzername und Passwort es gibt mir eine

Container erschlagen von der ApplicationMaster Exit-code 143

Anzahl der Antworten 2 Antworten
Ich habe immer die folgende Fehlermeldung in mehrere Fälle: 2017-03-23 11:55:10,794 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1490079327128_0048_r_000003_0: Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a