Tag: hive
Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.
3
Antworten
Ich habe einen Daten, die sich befindet in Apache Cassandra,ich möchte map/reduce-jobs mittels hadoop-Ökosystem-tools. Gewusst wie: laden von Daten aus Cassandra zu HDFS? Gibt es eine Speicher-handler andere als Cassandra storage-hf/Flotten ? InformationsquelleAutor kannadhasan | 2013-11-27
1
Antworten
Ich habe mit sqoop erstellen-hive-table-Befehl mit den entsprechenden Argumenten, die würde kopieren Sie die Tabelle schema von mysql oder jede RDBMS-in-Struktur. Heute stieß ich auf eine Anforderung, wo ich zu verwenden habe "sqoop erstellen einer hive-Tabelle" zusammen
3
Antworten
Componet verwendet:- -Ubuntu 12.04, hive(0.9.0), hbase(0.94.3), hadoop(0.20.2)-single-node -, Tierpfleger-3.4.3, Guave-11.0.2, hive-hbase-handler 0.9.0 tutorials:-https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration Schritte 1) starten, hadoop, 2) starten Sie hbase-master 3) starten Sie hiveserver 4) starten Sie die hive-shell --auxpath Parameter wie im tutorial (alles funktioniert
2
Antworten
Hallo, ich bin mit paar Funken Arbeitsplätze, die Prozesse, die Tausende von Dateien jeden Tag. Datei-Größe kann sehr von MBs an GBs. Nach Beendigung der Arbeit, die ich in der Regel sparen Sie mit dem folgenden code
2
Antworten
Hive-Dateien in hdfs nicht gelöscht wird, wenn managed (nicht extern) Tabelle gelöscht wird Folgte ich dem link, aber das hat nicht geholfen. Kann bitte jemand eine Lösung vorschlagen. InformationsquelleAutor unnik | 2014-03-05
3
Antworten
Habe ich eine große mysql-Tabelle, die ich übernehmen möchte, um ein Hadoop/Hive-Tabelle. Gibt es standard-Befehle oder-Techniken-transfer eine einfache (aber große) Tabelle, die von Mysql auf Hive? Die Tabelle speichert meist analytics-Daten. oracleabc.com/b/archives/1428 vielleicht? link war super hilfreich
3
Antworten
Wie wir das handhaben von Daten in Hive-wenn die \t ist in den Wert und das Trennzeichen ist auch \t. Angenommen, zum Beispiel gibt es eine Spalte als Street -, Daten-Typ, wie String und Wert als XXX\tYYY
2
Antworten
Will ich speichern und abrufen von blob-hive.Ist es möglich, zum speichern von blob-hive? Wenn es nicht unterstützt, was für alternativen kann ich mit gehen? Blob kann sich innerhalb einer Beziehung DB auch. Ich habe einige der Forschung,
3
Antworten
Gibt es eine Möglichkeit, wir töten können hive-Abfrage, ohne Sie zu beenden, die hive-shell ?. Ich zum Beispiel falsch lief die select Aussage von einigen Tabellen mit Millionen von Zeilen von Daten, ich wollte nur, es zu
1
Antworten
Ich versuche, Zugriff auf hive mit pyhs2. Ich habe versucht den folgenden code: example.py import pyhs2 conn = pyhs2.connect(host='localhost', port=10000,authMechanism=None, user=None, password=None,database='default') with conn.cursor() as cur: cur.execute("select * from table") for i in cur.fetch(): print i Ich
3
Antworten
Einfache Frage, es ist nur schwer zu google regex-syntax... Werde ich durch die HortonWorks Hive-tutorials (Hive verwendet die gleiche regex as Java), und die folgende SELECT-Anweisung verwendet die regex-zu ziehen aus dem, was ist wahrscheinlich JSON-Daten... INSERT
2
Antworten
Versuchte ich ablegen einer HIVE-Tabelle. Bildschirm hängt. Ich habe versucht, in beiden HIVE-CLI und beeline. Weder die Tabelle immer gelöscht, noch die Daten in die Tabelle eingefügt. Brauche Hilfe!!! Hat dein Hive erfolgreich installiert hat? Folgen Sie
1
Antworten
Was ist der Unterschied und die Bedeutung dieser beiden Aussagen, die ich gestoßen, während einer Vorlesung hier: 1. Traditional databases enforce schema during load time. und 2. Hive enforces schema during read time. InformationsquelleAutor London guy |
1
Antworten
Wie kann ich die Abfrage mehrere Partitionen der gleichen Tabelle in Hive? In den gleichen Befehl? Sowas ??? SELECT * FROM mytable WHERE partition ='first_partition' and partition='second_partition' InformationsquelleAutor user1309258 | 2013-03-20
2
Antworten
Bin ich mit hive 1.2.0 und hadoop 2.6.0. Wann immer ich bin mit Bienenkorb auf meinem Rechner... select-Abfrage funktioniert einwandfrei, aber bei count(*) es zeigt folgenden Fehler: Diagnosemeldungen für diese Aufgabe: Container-Einführung für gescheitert container_1434646588807_0001_01_000005 : org.apache.hadoop.Garn.Ausnahmen.InvalidAuxServiceException:
1
Antworten
Habe ich das Datum so gespeichert, wie Sie [27/Feb/2016:00:24:31 +0530]. Ich möchte das Datum-format in 27/Feb/2016 und auch wollen, um durch Sie. Ich habe versucht diese Lösung, aber es gibt in form 2016-02-27 und auch Aufträge ordnungsgemäß.
1
Antworten
Habe ich Hive 1.1, und ich habe Probleme beim umwandeln eines HEX-Wert in einen Dezimal-oder BIGINT. Mit UNHEX('2BD1BCAE0501250E') zurückgeben sollte= 3157512269357720846 Aber anstatt, ich bin immer so etwas wie WingDings= +Ѽ�% Ich habe versucht DECODE, ENCODE BASE64...aber
2
Antworten
Lerne ich-Struktur. Ich habe setup eine Tabelle mit dem Namen records. Mit schema wie folgt: year : string temperature : int quality : int Hier sind Beispiel-Zeilen 1999 28 3 2000 28 3 2001 30 2 Nun
2
Antworten
alle. Ich führen Sie einen hive-Abfrage ausgeführt, die zu 97% und der Ausnahme zeigt, dass die org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: Keine lease sth. Kann mir jemand freundlicherweise erklären, der Grund, warum dieser Fehler aufgetreten ist? Und dies ist ein single-user-Hive-cluster-Umgebung.
3
Antworten
Ich habe experimentiert mit Bienenkorb für einige data-mining-Aktivitäten und möchten es leicht machen, für weniger Kommandozeilen-orientierten Kollegen. Hive macht das Schiff jetzt mit einer web-Schnittstelle ( http://wiki.apache.org/hadoop/Hive/HiveWebInterface ), aber es ist sehr einfach, in diesem Stadium. Meine
3
Antworten
Habe ich in hive die folgenden Daten: userid cityid 1 15 2 15 1 7 3 15 2 8 3 9 3 7 Und ich will, dass nur die userid ' s, die haben eine cityid 15
3
Antworten
Ich habe eine text-Datei mit json-Datensätze, ich möchte zu laden, auf Hive. Meine json sieht wie folgt aus: {"vr":1,"tm":1312816191516,"tms":"08-08-2011 15:09:51.516 GMT","as":1002,"pb":1102,"cts":[1204,1205],"ctgs":[1304,1305],"op":1400,"ev":2,"dv":1503,"dvgs":[1605,1606],"cnt":"cnt5","usr":"usr8","atts":[{"id":8002,"val":"ccc"},{"id":8003,"val":"ddd"}],"sel":{"cm":2102,"ty":"PRE","ag":3002,"ad":4002,"fl":5002,"fla":6002,"hg":7002,"mc":"WAP","pr":0.1}} Wie Sie sehen können, habe ich eine verschachtelte json-arrays von primitiven und Objekt-array. Ist es möglich,
1
Antworten
Ist es, einen Weg zu weisen Hive zum aufteilen der Daten in mehrere Ausgabe-Dateien? Oder vielleicht cap die Größe der Ausgabe-Dateien. Ich bin der Planung bis zur Nutzung die Rotverschiebung, die empfiehlt Aufspaltung der Daten in mehrere
2
Antworten
Einigen Artikeln haben helfen auf dem stack, konnte aber nicht finden, löschen von Zeilen zählt in den Bienenstock. Gibt es 2 row_counts für Apple. Wie wähle ich nur 1 Zeilenanzahl für Apple? --Welche Daten aussieht...Insgesamt 14 Datensätze
2
Antworten
Iam immer folgende Fehlermeldung, wenn ich meine sqoop-export-Befehl. Dies ist mein Inhalt exportiert werden, die von sqoop-Befehl 00001|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N 00002|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N sqoop Befehl sqoop export --connect jdbc:postgresql://10.11.12.13:1234/db --table table1 --username user1 --password pass1--export-dir /hivetables/table/ --fields-terminated-by '|' --lines-terminated-by
3
Antworten
Möchte ich schreiben hive-query-Ausgabe in HDFS-Datei im CSV-Format( durch Komma getrennt). Für LOKALE VERZEICHNIS: INSERT OVERWRITE LOCAL DIRECTORY '/home/test/result/' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * from table; Oben Funktioniert einwandfrei und schreibt die Ausgabe
2
Antworten
Ich versuche zu erstellen, die externe Tabelle und versuchen zu laden, twitter-Daten in die Tabelle. Beim erstellen der Tabelle, erhalte ich die folgende Fehlermeldung und konnte nicht in der Lage, um den Fehler zu ermitteln. hive> ADD
2
Antworten
Ich bin ein wenig neu auf hiveQL und könnte einige Tipps. Arbeite ich an der Erstellung einer Ansicht in Bienenwachs, und ich wollte zu konvertieren einen string in einen date-Datentyp. Mein Ziel ist, klopfen die Zeit, die
3
Antworten
folgenden ist bereits erreicht Kafka Producer-Daten von twitter mit Spark Streaming. Kafka Verbraucher Einlesen von Daten in Externen Hive-Tabelle(HDFS). während dies gut funktioniert, so weit. es gibt nur ein Problem ich bin vor, während meine app einfügen
2
Antworten
Hive 0.7, gibt es eine Möglichkeit, eine Ansicht zu erstellen mit Leerzeichen in der Spalte name? In SQL Server, das ich tun würde: CREATE VIEW test_vw AS SELECT col_name as [col name with spaces] FROM test_tbl; Gibt
2
Antworten
Ich habe versucht, fügen Sie ein Glas im Bienenkorb-Klassenpfad unter Befehl hinzufügen. Befehl: hive - > hinzufügen myjar.jar aber wenn ich die login-hive, muss ich hinzufügen myjar.jar verwenden Sie den Befehl cmd ein. Gibt es eine Möglichkeit,
1
Antworten
War ich mit TRANSFORM USING mit Hive 0.8.1, und bemerkte, dass dies ist ungültige syntax: SELECT a, TRANSFORM(b, c) USING 'fake.py' AS d, FROM test_table; Entfernen "ein," macht dieses statement arbeiten. Was ist die richtige Art, mit
1
Antworten
Ich möchte Ranges Benutzer-id basiert auf einem Feld. Für den gleichen Wert des Feldes, Rang sollte gleich sein. Dass Daten in Hive-Tabelle. z.B. user value a 5 b 10 c 5 d 6 Rank a - 1
4
Antworten
In RedHat-test-server habe ich installiert hadoop 2.7 und ich lief Hive ,Pig & Funke-out-Probleme .Aber wenn Sie versucht, Zugriff auf metastore von Hive von Spark ich habe Fehler, So dass ich dachte, der Umsetzung hive-site.xml(Nach dem extrahieren
1
Antworten
Aktuell habe ich einen HIVE 0.7-Instanz auf Amazon EMR. Ich bin versuchen, um eine Kopie der Instanz auf eine neue EMR-cluster verwenden von Hive 0.11. In meinem 0.7 Beispiel ich habe eine externe Tabelle, die leere Zeichenfolgen
1
Antworten
Ich habe versucht, herauszufinden, wie zu entfernen mehrere nicht alphanumerische oder nicht-alphanumerische Zeichen, oder nur die Rückkehr numerische Zeichen aus einem string. Ich habe versucht: SELECT regexp_extract('X789', '[0-9]', 0) FROM table_name Aber es kehrt '7', nicht '789'.
4
Antworten
Ich bin mit einem hive-Skript in Amazon EMR zu analysieren, einige Daten. Und ich bin mit der übertragung der Ausgabe auf Amazon s3-bucket. Nun die Ergebnisse der hive-Skripts nicht enthalten Spaltenüberschriften. Habe ich auch versucht, mit Hilfe
2
Antworten
Hier ist das Szenario: Wenn ich rufe hql wie folgt, er sagt mir, dass es nicht finden können, einen alias für u1. hive> select user as u1, url as u2 from rank_test where u1 != ""; FAILED:
1
Antworten
Ich versuche, etwas zu tun, wie unten mit Bienenkorb. Wie kann ich eine Spalte in Hive definiert werden als eine Unterabfrage? Ist das möglich in der Hive? hive -e " select distinct i.SearchListingID, (select count(*) from calls
3
Antworten
Habe ich erfolgreich erstellt und Hinzugefügt Dynamische Partitionen in einem Interne Tabelle im hive. D. H. durch mithilfe der folgenden Schritte: 1-schuf eine Quelle der Tabelle 2-geladen-Daten von der lokalen in die Quell-Tabelle 3 - erstellt eine
2
Antworten
Verwende ich die split-Funktion ein array erstellen, in den Bienenstock, wie bekomme ich die ersten n Elemente aus dem array ab, und ich möchte Sie gehen Sie durch die sub-array - code-Beispiel select col1 from table where
6
Antworten
Es ist eine Frage, die hier die Verbindung von java zu Hive aber mir ist verschiedenen Mein hive auf Computer1 und ich brauche einige Abfragen mit der Java-server läuft auf Computer2 im Dialogfeld Lizenzaktivierung. So wie ich
5
Antworten
Bin ich mit Hive (das ist ähnlich wie SQL, aber die syntax ist etwas anders für die SQL-Benutzer). Ich habe mir die anderen stackoverflow, aber Sie scheint in der SQL mit unterschiedlicher syntax. Ich versuche, die den
1
Antworten
für den einfachsten Fall: wir alle finden Sie unter: select id from mytbl group by id und select distinct id from mytbl wie wir wissen, erzeugen Sie dieselbe Abfrage-plan, die hatte schon mehrfach erwähnt, in der einige
1
Antworten
Zunächst einmal bin ich relativ neu an Big Data und Hadoop-Welt und ich habe gerade begonnen, ein wenig Experimentieren mit der Hortonworks-Sandbox (Pig-und Hive-so weit). Ich Frage mich, in welchen Fällen könnte ich die oben genannten tools
4
Antworten
beim Abfragen einer Tabelle, einer SerDe wird Deserialisieren eine Reihe von Daten aus den bytes in der Datei für Objekte verwendet, die intern von Hive auf die Zeile der Daten. beim ausführen einer INSERT-oder CTAS (siehe "Importieren
4
Antworten
Ich verarbeiten muss, die Sie mehrere Monate von Daten gleichzeitig. Also, ist es eine option, um Punkt mehrere Ordner zu der externen Tabelle? z.B. Create external table logdata(col1 string, col2 string........) location s3://logdata/april, s3://logdata/march Ich habe das
1
Antworten
Ich habe mehrere Fragen hier. Ich bin auf der Suche nach einer hive-shell-Befehle oder-Abfragen zu finden, die unten details. Gegeben hive-Datenbank-name, wie bekomme ich die Liste der externen Tabellen in dieser Datenbank? Gegeben, eine hive-Tabelle name, wie
2
Antworten
to_date-Funktion nimmt diese "1970-11-01 00:00:00" als Eingabe und Rückkehr "1970-11-01". Aber ich habe Epoche mal als input. Wie kann ich es konvertieren zu standard-Datum-format? Gibt es eine Funktion zum konvertieren von standard-date zu unix-Epoche Zeit aber nicht
4
Antworten
Erstelle ich eine Tabelle in HIVE. Es hat die folgenden Spalten: id bigint, rank bigint, date string Möchte ich, um avg(Rang) pro Monat. Ich kann diesen Befehl verwenden. Es funktioniert. select a.lens_id, avg(a.rank) from tableA a group