Tag: hive

Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.

Gewusst wie: laden von Daten aus Cassandra zu HDFS?

Anzahl der Antworten 3 Antworten
Ich habe einen Daten, die sich befindet in Apache Cassandra,ich möchte map/reduce-jobs mittels hadoop-Ökosystem-tools. Gewusst wie: laden von Daten aus Cassandra zu HDFS? Gibt es eine Speicher-handler andere als Cassandra storage-hf/Flotten ? InformationsquelleAutor kannadhasan | 2013-11-27

Sqoop zu create table schema mit "sqoop erstellen einer hive-Tabelle"

Anzahl der Antworten 1 Antworten
Ich habe mit sqoop erstellen-hive-table-Befehl mit den entsprechenden Argumenten, die würde kopieren Sie die Tabelle schema von mysql oder jede RDBMS-in-Struktur. Heute stieß ich auf eine Anforderung, wo ich zu verwenden habe "sqoop erstellen einer hive-Tabelle" zusammen

FEHLER: Fehler in den Metadaten: MetaException(Meldung:org.apache.hadoop.hbase.MasterNotRunningException: in HBase+Hive-Integration

Anzahl der Antworten 3 Antworten
Componet verwendet:- -Ubuntu 12.04, hive(0.9.0), hbase(0.94.3), hadoop(0.20.2)-single-node -, Tierpfleger-3.4.3, Guave-11.0.2, hive-hbase-handler 0.9.0 tutorials:-https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration Schritte 1) starten, hadoop, 2) starten Sie hbase-master 3) starten Sie hiveserver 4) starten Sie die hive-shell --auxpath Parameter wie im tutorial (alles funktioniert

Wie die Steuerung der Anzahl von Ausgabe-Dateien erstellt von Spark job beim schreiben?

Anzahl der Antworten 2 Antworten
Hallo, ich bin mit paar Funken Arbeitsplätze, die Prozesse, die Tausende von Dateien jeden Tag. Datei-Größe kann sehr von MBs an GBs. Nach Beendigung der Arbeit, die ich in der Regel sparen Sie mit dem folgenden code

Bienenkorb fallen Interne Tabelle nicht löschen-warehouse-Dateien in diesem Ordner

Anzahl der Antworten 2 Antworten
Hive-Dateien in hdfs nicht gelöscht wird, wenn managed (nicht extern) Tabelle gelöscht wird Folgte ich dem link, aber das hat nicht geholfen. Kann bitte jemand eine Lösung vorschlagen. InformationsquelleAutor unnik | 2014-03-05

Wie übertragen mysql-Tabelle zu hive?

Anzahl der Antworten 3 Antworten
Habe ich eine große mysql-Tabelle, die ich übernehmen möchte, um ein Hadoop/Hive-Tabelle. Gibt es standard-Befehle oder-Techniken-transfer eine einfache (aber große) Tabelle, die von Mysql auf Hive? Die Tabelle speichert meist analytics-Daten. oracleabc.com/b/archives/1428 vielleicht? link war super hilfreich

Wie man mit einem Trennzeichen in Hive

Anzahl der Antworten 3 Antworten
Wie wir das handhaben von Daten in Hive-wenn die \t ist in den Wert und das Trennzeichen ist auch \t. Angenommen, zum Beispiel gibt es eine Spalte als Street -, Daten-Typ, wie String und Wert als XXX\tYYY

Verarbeiten von blob-hive

Anzahl der Antworten 2 Antworten
Will ich speichern und abrufen von blob-hive.Ist es möglich, zum speichern von blob-hive? Wenn es nicht unterstützt, was für alternativen kann ich mit gehen? Blob kann sich innerhalb einer Beziehung DB auch. Ich habe einige der Forschung,

Töten von hive-Abfragen ohne beenden von hive-shell

Anzahl der Antworten 3 Antworten
Gibt es eine Möglichkeit, wir töten können hive-Abfrage, ohne Sie zu beenden, die hive-shell ?. Ich zum Beispiel falsch lief die select Aussage von einigen Tabellen mit Millionen von Zeilen von Daten, ich wollte nur, es zu

Wie eine Verbindung zu hive mit python pyhs2?

Anzahl der Antworten 1 Antworten
Ich versuche, Zugriff auf hive mit pyhs2. Ich habe versucht den folgenden code: example.py import pyhs2 conn = pyhs2.connect(host='localhost', port=10000,authMechanism=None, user=None, password=None,database='default') with conn.cursor() as cur: cur.execute("select * from table") for i in cur.fetch(): print i Ich

Java/Hive regex-interpretation

Anzahl der Antworten 3 Antworten
Einfache Frage, es ist nur schwer zu google regex-syntax... Werde ich durch die HortonWorks Hive-tutorials (Hive verwendet die gleiche regex as Java), und die folgende SELECT-Anweisung verwendet die regex-zu ziehen aus dem, was ist wahrscheinlich JSON-Daten... INSERT

Hive drop table funktioniert nicht - Hängen

Anzahl der Antworten 2 Antworten
Versuchte ich ablegen einer HIVE-Tabelle. Bildschirm hängt. Ich habe versucht, in beiden HIVE-CLI und beeline. Weder die Tabelle immer gelöscht, noch die Daten in die Tabelle eingefügt. Brauche Hilfe!!! Hat dein Hive erfolgreich installiert hat? Folgen Sie

Hive erzwingt schema bei lese-Zeit?

Anzahl der Antworten 1 Antworten
Was ist der Unterschied und die Bedeutung dieser beiden Aussagen, die ich gestoßen, während einer Vorlesung hier: 1. Traditional databases enforce schema during load time. und 2. Hive enforces schema during read time. InformationsquelleAutor London guy |

Abfragen mehrerer Partitionen hive?

Anzahl der Antworten 1 Antworten
Wie kann ich die Abfrage mehrere Partitionen der gleichen Tabelle in Hive? In den gleichen Befehl? Sowas ??? SELECT * FROM mytable WHERE partition ='first_partition' and partition='second_partition' InformationsquelleAutor user1309258 | 2013-03-20

auxService:mapreduce_shuffle existiert nicht auf hive

Anzahl der Antworten 2 Antworten
Bin ich mit hive 1.2.0 und hadoop 2.6.0. Wann immer ich bin mit Bienenkorb auf meinem Rechner... select-Abfrage funktioniert einwandfrei, aber bei count(*) es zeigt folgenden Fehler: Diagnosemeldungen für diese Aufgabe: Container-Einführung für gescheitert container_1434646588807_0001_01_000005 : org.apache.hadoop.Garn.Ausnahmen.InvalidAuxServiceException:

hive-cast string to-date 'dd/MMM/yyyy" - format order by-und group by-Problem

Anzahl der Antworten 1 Antworten
Habe ich das Datum so gespeichert, wie Sie [27/Feb/2016:00:24:31 +0530]. Ich möchte das Datum-format in 27/Feb/2016 und auch wollen, um durch Sie. Ich habe versucht diese Lösung, aber es gibt in form 2016-02-27 und auch Aufträge ordnungsgemäß.

Wie konvertieren von HEX-Wert nach Dezimal im HIVE HQL

Anzahl der Antworten 1 Antworten
Habe ich Hive 1.1, und ich habe Probleme beim umwandeln eines HEX-Wert in einen Dezimal-oder BIGINT. Mit UNHEX('2BD1BCAE0501250E') zurückgeben sollte= 3157512269357720846 Aber anstatt, ich bin immer so etwas wie WingDings= +Ѽ�% Ich habe versucht DECODE, ENCODE BASE64...aber

Beispiel anzeigen reduzieren Skript in python für hive produziert Ausnahme

Anzahl der Antworten 2 Antworten
Lerne ich-Struktur. Ich habe setup eine Tabelle mit dem Namen records. Mit schema wie folgt: year : string temperature : int quality : int Hier sind Beispiel-Zeilen 1999 28 3 2000 28 3 2001 30 2 Nun

LeaseExpiredException in Hive

Anzahl der Antworten 2 Antworten
alle. Ich führen Sie einen hive-Abfrage ausgeführt, die zu 97% und der Ausnahme zeigt, dass die org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: Keine lease sth. Kann mir jemand freundlicherweise erklären, der Grund, warum dieser Fehler aufgetreten ist? Und dies ist ein single-user-Hive-cluster-Umgebung.

- Hadoop-Hive-web-interface-Optionen

Anzahl der Antworten 3 Antworten
Ich habe experimentiert mit Bienenkorb für einige data-mining-Aktivitäten und möchten es leicht machen, für weniger Kommandozeilen-orientierten Kollegen. Hive macht das Schiff jetzt mit einer web-Schnittstelle ( http://wiki.apache.org/hadoop/Hive/HiveWebInterface ), aber es ist sehr einfach, in diesem Stadium. Meine

Unter Verschneidung von Daten in Hive -

Anzahl der Antworten 3 Antworten
Habe ich in hive die folgenden Daten: userid cityid 1 15 2 15 1 7 3 15 2 8 3 9 3 7 Und ich will, dass nur die userid ' s, die haben eine cityid 15

Hive-out-of-the-box-json-parser

Anzahl der Antworten 3 Antworten
Ich habe eine text-Datei mit json-Datensätze, ich möchte zu laden, auf Hive. Meine json sieht wie folgt aus: {"vr":1,"tm":1312816191516,"tms":"08-08-2011 15:09:51.516 GMT","as":1002,"pb":1102,"cts":[1204,1205],"ctgs":[1304,1305],"op":1400,"ev":2,"dv":1503,"dvgs":[1605,1606],"cnt":"cnt5","usr":"usr8","atts":[{"id":8002,"val":"ccc"},{"id":8003,"val":"ddd"}],"sel":{"cm":2102,"ty":"PRE","ag":3002,"ad":4002,"fl":5002,"fla":6002,"hg":7002,"mc":"WAP","pr":0.1}} Wie Sie sehen können, habe ich eine verschachtelte json-arrays von primitiven und Objekt-array. Ist es möglich,

Hive — split-Daten in Dateien

Anzahl der Antworten 1 Antworten
Ist es, einen Weg zu weisen Hive zum aufteilen der Daten in mehrere Ausgabe-Dateien? Oder vielleicht cap die Größe der Ausgabe-Dateien. Ich bin der Planung bis zur Nutzung die Rotverschiebung, die empfiehlt Aufspaltung der Daten in mehrere

Entfernen Sie doppelte Zeilen zählt, in Hive-SQL?

Anzahl der Antworten 2 Antworten
Einigen Artikeln haben helfen auf dem stack, konnte aber nicht finden, löschen von Zeilen zählt in den Bienenstock. Gibt es 2 row_counts für Apple. Wie wähle ich nur 1 Zeilenanzahl für Apple? --Welche Daten aussieht...Insgesamt 14 Datensätze

sqoop-export fehlschlägt, wenn ich die \N als Daten

Anzahl der Antworten 2 Antworten
Iam immer folgende Fehlermeldung, wenn ich meine sqoop-export-Befehl. Dies ist mein Inhalt exportiert werden, die von sqoop-Befehl 00001|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N 00002|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N sqoop Befehl sqoop export --connect jdbc:postgresql://10.11.12.13:1234/db --table table1 --username user1 --password pass1--export-dir /hivetables/table/ --fields-terminated-by '|' --lines-terminated-by

Hive-Query-o/p, um HDFS als CSV-Datei

Anzahl der Antworten 3 Antworten
Möchte ich schreiben hive-query-Ausgabe in HDFS-Datei im CSV-Format( durch Komma getrennt). Für LOKALE VERZEICHNIS: INSERT OVERWRITE LOCAL DIRECTORY '/home/test/result/' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * from table; Oben Funktioniert einwandfrei und schreibt die Ausgabe

Erstellen von hive-Tabelle Fehler zum laden von Twitter-Daten

Anzahl der Antworten 2 Antworten
Ich versuche zu erstellen, die externe Tabelle und versuchen zu laden, twitter-Daten in die Tabelle. Beim erstellen der Tabelle, erhalte ich die folgende Fehlermeldung und konnte nicht in der Lage, um den Fehler zu ermitteln. hive> ADD

hiveQL String zu Datum-Konvertierung

Anzahl der Antworten 2 Antworten
Ich bin ein wenig neu auf hiveQL und könnte einige Tipps. Arbeite ich an der Erstellung einer Ansicht in Bienenwachs, und ich wollte zu konvertieren einen string in einen date-Datentyp. Mein Ziel ist, klopfen die Zeit, die

Hive Erstellen Multi-kleine Dateien, die für die einzelnen insert-HDFS

Anzahl der Antworten 3 Antworten
folgenden ist bereits erreicht Kafka Producer-Daten von twitter mit Spark Streaming. Kafka Verbraucher Einlesen von Daten in Externen Hive-Tabelle(HDFS). während dies gut funktioniert, so weit. es gibt nur ein Problem ich bin vor, während meine app einfügen

Create view Hive mit Leerzeichen in Spaltennamen

Anzahl der Antworten 2 Antworten
Hive 0.7, gibt es eine Möglichkeit, eine Ansicht zu erstellen mit Leerzeichen in der Spalte name? In SQL Server, das ich tun würde: CREATE VIEW test_vw AS SELECT col_name as [col name with spaces] FROM test_tbl; Gibt

Hinzufügen/Definition Gläser in Hive-dauerhaft

Anzahl der Antworten 2 Antworten
Ich habe versucht, fügen Sie ein Glas im Bienenkorb-Klassenpfad unter Befehl hinzufügen. Befehl: hive - > hinzufügen myjar.jar aber wenn ich die login-hive, muss ich hinzufügen myjar.jar verwenden Sie den Befehl cmd ein. Gibt es eine Möglichkeit,

Wie kann wählen Sie eine Spalte und nicht eine TRANSFORMATION im Bienenstock?

Anzahl der Antworten 1 Antworten
War ich mit TRANSFORM USING mit Hive 0.8.1, und bemerkte, dass dies ist ungültige syntax: SELECT a, TRANSFORM(b, c) USING 'fake.py' AS d, FROM test_table; Entfernen "ein," macht dieses statement arbeiten. Was ist die richtige Art, mit

Computing Rang einer Zeile

Anzahl der Antworten 1 Antworten
Ich möchte Ranges Benutzer-id basiert auf einem Feld. Für den gleichen Wert des Feldes, Rang sollte gleich sein. Dass Daten in Hive-Tabelle. z.B. user value a 5 b 10 c 5 d 6 Rank a - 1

Hive-metastore-Konfiguration mit derby

Anzahl der Antworten 4 Antworten
In RedHat-test-server habe ich installiert hadoop 2.7 und ich lief Hive ,Pig & Funke-out-Probleme .Aber wenn Sie versucht, Zugriff auf metastore von Hive von Spark ich habe Fehler, So dass ich dachte, der Umsetzung hive-site.xml(Nach dem extrahieren

HIVE Externe Tisch - Set-Leer-Strings auf NULL

Anzahl der Antworten 1 Antworten
Aktuell habe ich einen HIVE 0.7-Instanz auf Amazon EMR. Ich bin versuchen, um eine Kopie der Instanz auf eine neue EMR-cluster verwenden von Hive 0.11. In meinem 0.7 Beispiel ich habe eine externe Tabelle, die leere Zeichenfolgen

So Entfernen Sie die nicht-alpha-numerischen oder nicht-numerischen Zeichen mit Hive REGEXP_EXTRACT () - Funktion

Anzahl der Antworten 1 Antworten
Ich habe versucht, herauszufinden, wie zu entfernen mehrere nicht alphanumerische oder nicht-alphanumerische Zeichen, oder nur die Rückkehr numerische Zeichen aus einem string. Ich habe versucht: SELECT regexp_extract('X789', '[0-9]', 0) FROM table_name Aber es kehrt '7', nicht '789'.

Hinzufügen Spaltentitel, um die hive-Ergebnis eingestellt

Anzahl der Antworten 4 Antworten
Ich bin mit einem hive-Skript in Amazon EMR zu analysieren, einige Daten. Und ich bin mit der übertragung der Ausgabe auf Amazon s3-bucket. Nun die Ergebnisse der hive-Skripts nicht enthalten Spaltenüberschriften. Habe ich auch versucht, mit Hilfe

Warum können die nicht hive erkennen alias-Namen im select-Teil?

Anzahl der Antworten 2 Antworten
Hier ist das Szenario: Wenn ich rufe hql wie folgt, er sagt mir, dass es nicht finden können, einen alias für u1. hive> select user as u1, url as u2 from rank_test where u1 != ""; FAILED:

Hive-Spalte als eine Unterabfrage auswählen

Anzahl der Antworten 1 Antworten
Ich versuche, etwas zu tun, wie unten mit Bienenkorb. Wie kann ich eine Spalte in Hive definiert werden als eine Unterabfrage? Ist das möglich in der Hive? hive -e " select distinct i.SearchListingID, (select count(*) from calls

erstellen partition in der externen Tabelle in hive

Anzahl der Antworten 3 Antworten
Habe ich erfolgreich erstellt und Hinzugefügt Dynamische Partitionen in einem Interne Tabelle im hive. D. H. durch mithilfe der folgenden Schritte: 1-schuf eine Quelle der Tabelle 2-geladen-Daten von der lokalen in die Quell-Tabelle 3 - erstellt eine

Wie man die ersten n Elemente in einem array im Hive

Anzahl der Antworten 2 Antworten
Verwende ich die split-Funktion ein array erstellen, in den Bienenstock, wie bekomme ich die ersten n Elemente aus dem array ab, und ich möchte Sie gehen Sie durch die sub-array - code-Beispiel select col1 from table where

Verbinden Hive, die durch die Java JDBC

Anzahl der Antworten 6 Antworten
Es ist eine Frage, die hier die Verbindung von java zu Hive aber mir ist verschiedenen Mein hive auf Computer1 und ich brauche einige Abfragen mit der Java-server läuft auf Computer2 im Dialogfeld Lizenzaktivierung. So wie ich

Die Auswahl der ersten Tag des Monats, in HIVE

Anzahl der Antworten 5 Antworten
Bin ich mit Hive (das ist ähnlich wie SQL, aber die syntax ist etwas anders für die SQL-Benutzer). Ich habe mir die anderen stackoverflow, aber Sie scheint in der SQL mit unterschiedlicher syntax. Ich versuche, die den

distinct vs. group by was ist besser

Anzahl der Antworten 1 Antworten
für den einfachsten Fall: wir alle finden Sie unter: select id from mytbl group by id und select distinct id from mytbl wie wir wissen, erzeugen Sie dieselbe Abfrage-plan, die hatte schon mehrfach erwähnt, in der einige

Hadoop, Hive, Pig, HBase, Cassandra - Wann benutzen Sie was?

Anzahl der Antworten 1 Antworten
Zunächst einmal bin ich relativ neu an Big Data und Hadoop-Welt und ich habe gerade begonnen, ein wenig Experimentieren mit der Hortonworks-Sandbox (Pig-und Hive-so weit). Ich Frage mich, in welchen Fällen könnte ich die oben genannten tools

Wie funktioniert Hive speichert die Daten, und was ist SerDe?

Anzahl der Antworten 4 Antworten
beim Abfragen einer Tabelle, einer SerDe wird Deserialisieren eine Reihe von Daten aus den bytes in der Datei für Objekte verwendet, die intern von Hive auf die Zeile der Daten. beim ausführen einer INSERT-oder CTAS (siehe "Importieren

Kann ich mehrere location zur gleichen externen hive-Tabelle?

Anzahl der Antworten 4 Antworten
Ich verarbeiten muss, die Sie mehrere Monate von Daten gleichzeitig. Also, ist es eine option, um Punkt mehrere Ordner zu der externen Tabelle? z.B. Create external table logdata(col1 string, col2 string........) location s3://logdata/april, s3://logdata/march Ich habe das

Wie Sie herausfinden, ob eine Hive-Tabelle extern oder intern?

Anzahl der Antworten 1 Antworten
Ich habe mehrere Fragen hier. Ich bin auf der Suche nach einer hive-shell-Befehle oder-Abfragen zu finden, die unten details. Gegeben hive-Datenbank-name, wie bekomme ich die Liste der externen Tabellen in dieser Datenbank? Gegeben, eine hive-Tabelle name, wie

Gibt es irgendeine Funktion in der Struktur, konvertiert Epoche Zeit auf standard-Datum?

Anzahl der Antworten 2 Antworten
to_date-Funktion nimmt diese "1970-11-01 00:00:00" als Eingabe und Rückkehr "1970-11-01". Aber ich habe Epoche mal als input. Wie kann ich es konvertieren zu standard-Datum-format? Gibt es eine Funktion zum konvertieren von standard-date zu unix-Epoche Zeit aber nicht

hive-Ausdruck Nicht In der Group By-Schlüssel

Anzahl der Antworten 4 Antworten
Erstelle ich eine Tabelle in HIVE. Es hat die folgenden Spalten: id bigint, rank bigint, date string Möchte ich, um avg(Rang) pro Monat. Ich kann diesen Befehl verwenden. Es funktioniert. select a.lens_id, avg(a.rank) from tableA a group