Tag: hive

Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.

erste null-Werte beim laden der Daten aus flachen Dateien, in hive-Tabellen

Anzahl der Antworten 6 Antworten
Ich bin immer die, die null-Werte beim laden der Daten aus flachen Dateien, in hive-Tabellen. meine Tabellen-Struktur ist wie folgt: hive> create table test_hive (id int,value string); - und meine Wohnung-Datei ist wie folgt: input.txt 1 a

Custom Map Reduzieren-Programm auf Hive, was ist die Regel? Wie etwa input-und output?

Anzahl der Antworten 1 Antworten
Kam ich nicht weiter für ein paar Tage, denn ich möchte erstellen Sie eine benutzerdefinierte Karte reduzieren Programm basiert auf meine Anfrage auf hive, fand ich nicht viele Beispiele, nach googeln und ich bin immer noch verwirrt

Hive-Wählen Sie In

Anzahl der Antworten 1 Antworten
Ich habe eine Datenbank, die Menschen im hive. Es ist schema ist wie folgt: name string, dob_date int, dob_month int, dob_year int. Habe ich erfolgreich geladen, Daten aus einer Datei in die Datenbank. Nun will ich auch

Lokale Zeit Konvertieren UTC-Zeit In Hive

Anzahl der Antworten 5 Antworten
Ich suchte eine Menge über das Internet, aber konnte keine Antwort finden. Hier ist meine Frage: Schreibe ich einige Abfragen in Hive. Ich habe einen UTC-Zeitstempel und möchte es ändern, um die UTC-Zeit, z.B. angesichts timestamp 1349049600,

Wie eine Verbindung zu einem Hive-metastore programmgesteuert in SparkSQL?

Anzahl der Antworten 4 Antworten
Ich bin mit HiveContext mit SparkSQL und ich bin versucht, eine Verbindung zu einem remote-Hive-metastore, der einzige Weg, um die hive-metastore ist durch, einschließlich der hive-site.xml auf dem classpath (oder kopieren Sie Sie nach /etc/spark/conf/). Gibt es

Hive failed to create /user/hive/warehouse

Anzahl der Antworten 9 Antworten
Bekomme ich nur begonnen, auf der Basis von Apache Hive, und ich bin mit meinen lokalen Ubuntu-box 12.04, mit Hive-0.10.0 und Hadoop 1.1.2. Folgenden die offizielle "Erste Schritte" guide auf der Apache-website, ich bin jetzt stuck an

Was bedeutet der hive-metastore-und name-Knoten in einem cluster?

Anzahl der Antworten 4 Antworten
In einem cluster mit Hive installiert, Was bedeutet das metastore und namenode haben? ich verstehe, dass die Metastore hat alle das schema für die Tabelle und partition details und Metadaten. Was ist nun diese Metadaten? was die

Wie Sie wissen, Standort über-partition im Bienenstock?

Anzahl der Antworten 3 Antworten
Wenn ich Schreibe einen hive-sql wie ALTER TABLE tbl_name ADD PARTITION (dt=20131023) LOCATION 'hdfs://path/to/tbl_name/dt=20131023; Wie kann ich die Abfrage dieser Position über die partition später? Weil ich fand es gibt einige Daten, die in der Lage, aber

So kopieren Sie alle hive-Tabelle von einer Datenbank in eine andere Datenbank

Anzahl der Antworten 4 Antworten
Habe ich Standard-db-hive-Tabelle, die enthält 80 Tischen . Ich habe eine weitere Datenbank und ich möchten, kopieren Sie alle Tabellen aus Standard-DB auf neuen Datenbanken. Gibt es eine Möglichkeit, ich kann das kopieren von Einer DB in

Einfügen von Daten in hive-Tabelle

Anzahl der Antworten 5 Antworten
Mithilfe einer Cygwin-distribution habe ich installiert Hadoop-0.20.3-und Hive-0.11.0. Erstens, ich verstehe nicht, wie die Hive-CLI: hive> show tables; Dann eingeben und nichts passiert. Ich kann die Ausführung von Abfragen mit hive -e/-f. Dann habe ich eine Tabelle

Hive Externe Tabelle-CSV-Datei - Header-Zeile

Anzahl der Antworten 5 Antworten
Unten ist der hive-Tabelle, die ich erstellt habe: CREATE EXTERNAL TABLE Activity ( column1 type, </br> column2 type ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/exttable/'; In meinem HDFS Lage /exttable, ich habe eine Menge

Wie, um den Wert eines hive-variable?

Anzahl der Antworten 3 Antworten
Wie sehen Sie den Wert einer hive-Variablen müssen Sie mit dem Befehl "SET a = 'B -, C -, D -'"? Ich don ' T wollen, verwenden Sie die variable nur den Wert habe ich eingestellt. Auch

hive-sql finden Sie die neuesten Datensatz

Anzahl der Antworten 8 Antworten
dem Tisch ist: create table test ( id string, name string, age string, modified string) Daten wie diese: id name age modifed 1 a 10 2011-11-11 11:11:11 1 a 11 2012-11-11 12:00:00 2 b 20 2012-12-10 10:11:12

Was ist die Verwendung von hcatalog in hadoop?

Anzahl der Antworten 5 Antworten
Ich bin neu in hadoop.Ich weiß, dass die HCatalog ist eine Tabelle und storage-management-layer für Hadoop. Aber wie genau funktioniert es & wie es zu benutzen. Bitte geben Sie einige einfache Beispiel. InformationsquelleAutor der Frage Vijay_Shinde |

Erforderliches Feld 'client_protocol' nicht gesetzt ist

Anzahl der Antworten 3 Antworten
Bin ich mit Hive 0.12 und ich versuche den JDBC von apache. Wenn ich versuche den code auszuführen, bekomme ich die apache.die Sparsamkeit.TApplicationException. import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import java.sql.Statement; import java.sql.DriverManager; public class HiveJdbcClient {

Die Verbindung von Java zu Hive über JDBC

Anzahl der Antworten 3 Antworten
Ich versuche eine Verbindung von Java zu Hive server 1. Ich fand mal eine Frage vor in diesem forum, aber es funktioniert nicht für mich. Ich bin mit diesem code: import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; import

Warum ist count(distinct) langsamer als die Gruppe, indem Sie im Bienenstock?

Anzahl der Antworten 1 Antworten
Auf Hive, ich glaube, count(distinct) werden eher als Gruppe-durch eine unausgewogene Arbeitsauslastung zu Reduzierstücke und am Ende mit einer traurigen reducer Schleifen entfernt. Beispiel Abfrage unten. Warum? Beispiel-query: select count(distinct user) from some_table Version mit group-by (vorgeschlagen

So laden Sie eine Textdatei in eine Hive-Tabelle gespeichert, die als Sequenz-Dateien

Anzahl der Antworten 2 Antworten
Habe ich eine hive-Tabelle gespeichert als sequencefile. Muss ich laden Sie eine Textdatei in diese Tabelle. Wie lade ich die Daten in diese Tabelle? InformationsquelleAutor der Frage cldo | 2012-12-28

java.net.URISyntaxException beim starten von HIVE

Anzahl der Antworten 5 Antworten
Ich bin neu im BIENENKORB. Ich habe bereits hadoop und es funktioniert gut, und ich möchte die Einrichtung Hive. Wenn ich beginne, hive , zeigt es eine Fehlermeldung wie Caused by: java.net.URISyntaxException: Relative path in absolute URI:

Wie, um eine Liste aller hive-Datenbanken verwenden oder bisher erstellt?

Anzahl der Antworten 2 Antworten
Ähnlich SHOW TABLES Befehl, haben wir keine solchen Befehl, um eine Liste aller Datenbanken, die bisher erstellt? InformationsquelleAutor der Frage Raja Reddy | 2013-11-05

Abfrage HIVE-Tabelle in pyspark

Anzahl der Antworten 6 Antworten
Ich bin mit CDH5.5 Ich habe eine Tabelle erstellt in HIVE-Standard-Datenbank und Abfragen können Sie aus dem HIVE-Befehl. Ausgabe hive> use default; OK Time taken: 0.582 seconds hive> show tables; OK bank Time taken: 0.341 seconds, Fetched:

wie man den Namen der Eingabedatei als Spalte innerhalb von hive-Abfragen

Anzahl der Antworten 3 Antworten
Ich habe einen externen hive-Tabellen abgebildet, dass auf ein Verzeichnis. Dieses Verzeichnis enthält mehrere Dateien. Möchte ich Sie auf Abfrage ausführen, wie Dateiname, wo es einen Benutzer "abc" select file_name , usr from usrs_tables where usr =

Warnung über SSL-Verbindung bei der Verbindung zur MySQL-Datenbank

Anzahl der Antworten 9 Antworten
Mit der zwei Klassen weiter unten, ich habe versucht, eine Verbindung zu einer MySQL-Datenbank. Jedoch bekomme ich immer diese Fehlermeldung: Wed Dec 09 22:46:52 CET 2015 WARN: SSL-Verbindung ohne server-die Prüfung der Identität wird nicht empfohlen. Laut

Verwenden collect_list und collect_set in Spark SQL

Anzahl der Antworten 1 Antworten
Entsprechend der docsdie collect_set und collect_list Funktionen sollten verfügbar sein Spark SQL. Ich jedoch kann es nicht funktionieren. Ich bin mit Spark-1.6.0 mit einem Docker-image. Ich versuche, dies zu tun in Scala: import org.apache.spark.sql.functions._ df.groupBy("column1") .agg(collect_set("column2")) .show()

Hive Externen Tabelle, Erste Zeile Überspringen

Anzahl der Antworten 7 Antworten
Ich bin mit Cloudera ' s version von Hive und versuchen, erstellen Sie eine externe Tabelle über eine csv-Datei enthält die Spaltennamen in der ersten Spalte. Hier ist der code, den ich verwende, zu tun. CREATE EXTERNAL

gewusst wie: ersetzen von Zeichen im Bienenstock?

Anzahl der Antworten 5 Antworten
Habe ich eine string-Spalte description in eine hive-Tabelle, welche enthalten tab-Zeichen '\t' diese Zeichen sind jedoch Unordnung einige Ansichten, wenn hive anschließen an eine externe Anwendung. gibt es einen einfachen Weg, um loszuwerden, alle tab-Zeichen in dieser

Fügen Sie eine Spalte in einer Tabelle in HIVE-QL

Anzahl der Antworten 1 Antworten
Schreibe ich einen code in HIVE zu erstellen, die eine Tabelle bestehend aus 1300 Zeilen und 6 Spalten: create table test1 as SELECT cd_screen_function, SUM(access_count) AS max_count, MIN(response_time_min) as response_time_min, AVG(response_time_avg) as response_time_avg, MAX(response_time_max) as response_time_max, SUM(response_time_tot)

Kommentare, die nicht arbeiten, in hive-CLI

Anzahl der Antworten 2 Antworten
Ich habe gesehen, andere Beiträge sagen, die doppelten Bindestrich -- sollte ein hive Kommentar. Aber zumindest innerhalb der hive-CLI, das nicht ordnungsgemäß funktioniert; hive> -- some comment; FAILED: Parse Error: line 0:-1 cannot recognize input near '<EOF>'

Tut Hive haben etwas vergleichbares DUAL?

Anzahl der Antworten 5 Antworten
Ich würde gerne Aussagen wie SELECT date_add('2008-12-31', 1) FROM DUAL Tut Hive (auf Amazon EMR) haben etwas ähnliches? InformationsquelleAutor der Frage jbreed | 2012-03-20

Hive Alter table-ändern Sie die Spalte Name

Anzahl der Antworten 3 Antworten
Ich versuche benennen Sie einen Spaltenname in der Struktur. Ist es Weg, benennen Sie die Spalte Namen im Hive . tableA ("column1", _c1,_c2) zu tableA(column1,column2,column3) ?? InformationsquelleAutor der Frage user2978621 | 2014-02-26

Wie funktioniert Hive-wählen Sie die Anzahl der Reduzierstücke für einen job?

Anzahl der Antworten 1 Antworten
Mehreren stellen sagen, dass die default # Reduzier-in einem Hadoop-job ist 1. Sie können die mapred.reduzieren.Aufgaben-symbol, um manuell die Anzahl der Reduktionen. Wenn ich führen Sie einen Hive-job (auf Amazon EMR-AMI-2.3.3), hat es auch einige Reduzierungen größer

wie schreibt Unterabfrage und nutzen Sie die "In" - Klausel im Hive

Anzahl der Antworten 7 Antworten
Wie kann ich die In-Klausel in Hive Ich möchte etwas schreiben, wie diese im Hive wählen Sie x aus y, wo y ist.z in (select distinct z von y) die Reihenfolge von x; Aber ich bin nicht

JSON-Ausgabeformat für Hive-Query-Ergebnisse

Anzahl der Antworten 4 Antworten
Gibt es eine Möglichkeit, zu konvertieren, der Hive query-Ergebnis im JSON-format? InformationsquelleAutor der Frage divinedragon | 2012-04-03

Hive: dynamische partition hinzufügen auf externe Tabelle

Anzahl der Antworten 4 Antworten
Ich bin mit hive-071, Verarbeitung vorhandener Daten hat die folgende Verzeichnisstruktur: -TableName - d= (z.B. 2011-08-01) - d=2011-08-02 - d=2011-08-03 ... etc. unter jedem Datum ich habe das Datum von Dateien. nun, die Daten zu laden, die

Wie kann ich umwandeln array zu string in hive-sql?

Anzahl der Antworten 1 Antworten
Ich konvertieren möchten, ein array zu string im hive. Ich möchte collect_set array-Werte zu konvertieren zu einem string ohne [[""]]. select actor, collect_set(date) as grpdate from actor_table group by actor; so, dass [["2016-07-01", "2016-07-02"]] werden würde 2016-07-01,

COLLECT_SET() im Hive, halten Sie Duplikate?

Anzahl der Antworten 9 Antworten
Gibt es einen Weg, um die Duplikate in ein set gesammelt, im Bienenstock, oder simulieren die Art von Aggregat-Sammlung, die Hive verfügt über einige andere Methode? Ich möchte das zusammenfassen aller Elemente in einer Spalte, die mit

Speichern Funke dataframe als dynamisch partitionierte Tabelle in Hive

Anzahl der Antworten 5 Antworten
Habe ich eine Beispiel-Anwendung, die zum Lesen von csv-Dateien in ein dataframe. Der dataframe gespeichert werden können, um eine Hive-Tabelle in Parkett-format mit der Methode df.saveAsTable(tablename,mode). Den oben genannten code funktioniert gut, aber ich habe so viel

Komprimieren Sie die Datei auf S3

Anzahl der Antworten 2 Antworten
Ich habe einen 17.7 GB-Datei auf S3. Es wurde erzeugt als die Ausgabe des Hive-Abfrage und es wird nicht komprimiert. Weiß ich, dass durch die Komprimierung, es werden etwa 2,2 GB (gzip). Wie kann ich diese Datei

Wie zu entfernen/abschneiden von Tabellen von Hadoop-Hive?

Anzahl der Antworten 4 Antworten
Bitte sagen Sie mir, wie Sie Tabelle löschen aus dem Bienenstock und auch sagen, wo ich kann bekommen mehr Informationen über hive-Abfragen. InformationsquelleAutor der Frage Amol | 2013-02-28

SQL gleitenden Durchschnitt

Anzahl der Antworten 13 Antworten
Wie schaffen Sie einen gleitenden Durchschnitt in SQL? Aktuelle Tabelle: Date Clicks 2012-05-01 2,230 2012-05-02 3,150 2012-05-03 5,520 2012-05-04 1,330 2012-05-05 2,260 2012-05-06 3,540 2012-05-07 2,330 Gewünschte Tabelle oder Ausgang: Date Clicks 3 day Moving Average 2012-05-01

Was ist der Unterschied zwischen Apache Spark SQLContext vs HiveContext?

Anzahl der Antworten 3 Antworten
Was sind die Unterschiede zwischen Apache Spark SQLContext und HiveContext ? Einige Quellen sagen, dass da die HiveContext ist eine Obermenge von SQLContext-Entwickler sollte immer HiveContext, die hat mehr Funktionen als SQLContext. Aber die aktuellen APIs der

Wie man ein array/Tasche von Elementen, die von Hive group by-operator?

Anzahl der Antworten 2 Antworten
Möchte ich gruppieren nach einem bestimmten Feld, und erhalten die Ausgabe mit gruppierten Feldern. Unten ist ein Beispiel von, was ich versuche zu erreichen:- Stellen Sie sich eine Tabelle mit dem Namen 'sample_table' mit zwei Spalten wie

Die Handhabung von NULL-Werten in Hive

Anzahl der Antworten 6 Antworten
Ich versuche eine Tabelle erstellen (Tabelle 2) im Bienenstock aus einer anderen Tabelle (Tabelle 1). Ich versuche zum ausschließen bestimmter Zeilen mit NULL-Werten und versucht, die folgende Bedingung. insert overwrite table table2 partition (date = '2013-06-01') select

Erstellen temporäre Tabelle in Hive?

Anzahl der Antworten 1 Antworten
Unterstützt Hive temporäre Tabellen? Ich kann es nicht finden in den apache-docs. InformationsquelleAutor der Frage CMaury | 2011-03-21

Exportieren Hive-Tabelle in einen S3-bucket

Anzahl der Antworten 3 Antworten
Ich habe eine Hive-Tabelle, die durch eine Elastische MapReduce interaktive Sitzung und aufgefüllt, die es aus einer CSV-Datei wie folgt: CREATE TABLE csvimport(id BIGINT, time STRING, log STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD DATA

Laden von Daten aus .txt-Datei Tabelle Gespeichert, die als ORK im Hive

Anzahl der Antworten 5 Antworten
Ich habe eine Daten-Datei, die in .txt - format. Ich bin mit dem Datei zum laden von Daten in Hive-Tabellen. Wenn ich laden Sie die Datei in einer Tabelle wie CREATE TABLE test_details_txt( visit_id INT, store_id SMALLINT)

Hive Probleme bei der installation: Hive-metastore-Datenbank nicht initialisiert

Anzahl der Antworten 4 Antworten
Habe ich versucht zu installieren hive auf einem raspberry pi 2. Ich installierte Struktur Dekomprimieren von Zip-Hive-Paket und konfigurieren $HADOOP_HOME und $HIVE_HOME manuell unter hduser Benutzer-Gruppe erstellt ich. Beim ausführen von hive, bekam ich folgende Fehlermeldung: hive

Wie gebe ich die Ergebnisse einer HiveQL-Abfrage in CSV aus?

Anzahl der Antworten 10 Antworten
möchten wir die Ergebnisse einer Hive-Abfrage in eine CSV-Datei. Ich dachte, der Befehl sollte wie folgt Aussehen: insert overwrite directory '/home/output.csv' select books from table; Wenn ich es laufen lasse, sagt es completeld erfolgreich, aber ich kann

java.lang.RuntimeException: Instanziieren von org.apache.hadoop.hive.metastore.HiveMetaStoreClient nicht möglich

Anzahl der Antworten 14 Antworten
Ich so konfiguriert haben, dass mein Hive, so wie Sie auf link: http://www.youtube.com/watch?v=Dqo1ahdBK_Aaber ich erhalte die folgende Fehlermeldung beim erstellen einer Tabelle in Hive. Ich bin mit hadoop-1.2.1 und hive-0.12.0. hive> create table employee(emp_id int,name string,salary double);

Wie man eine Hive-Partition aktualisiert / löscht?

Anzahl der Antworten 2 Antworten
Nach dem hinzufügen einer partition zu einem externe Tabelle in Hivewie kann ich update/drop? InformationsquelleAutor der Frage darcyq | 2012-12-11