Tag: hive

Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.

Hive — split-Daten in Dateien

Anzahl der Antworten 1 Antworten
Ist es, einen Weg zu weisen Hive zum aufteilen der Daten in mehrere Ausgabe-Dateien? Oder vielleicht cap die Größe der Ausgabe-Dateien. Ich bin der Planung bis zur Nutzung die Rotverschiebung, die empfiehlt Aufspaltung der Daten in mehrere

Entfernen Sie doppelte Zeilen zählt, in Hive-SQL?

Anzahl der Antworten 2 Antworten
Einigen Artikeln haben helfen auf dem stack, konnte aber nicht finden, löschen von Zeilen zählt in den Bienenstock. Gibt es 2 row_counts für Apple. Wie wähle ich nur 1 Zeilenanzahl für Apple? --Welche Daten aussieht...Insgesamt 14 Datensätze

sqoop-export fehlschlägt, wenn ich die \N als Daten

Anzahl der Antworten 2 Antworten
Iam immer folgende Fehlermeldung, wenn ich meine sqoop-export-Befehl. Dies ist mein Inhalt exportiert werden, die von sqoop-Befehl 00001|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N 00002|Content|1|Content-Artikel|\N|2015-02-1815:16:04/2015-02-1815:16:04/1 |\N|\N|\N|\N|\N|\N|\N|\N|\N sqoop Befehl sqoop export --connect jdbc:postgresql://10.11.12.13:1234/db --table table1 --username user1 --password pass1--export-dir /hivetables/table/ --fields-terminated-by '|' --lines-terminated-by

Hive-Query-o/p, um HDFS als CSV-Datei

Anzahl der Antworten 3 Antworten
Möchte ich schreiben hive-query-Ausgabe in HDFS-Datei im CSV-Format( durch Komma getrennt). Für LOKALE VERZEICHNIS: INSERT OVERWRITE LOCAL DIRECTORY '/home/test/result/' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT * from table; Oben Funktioniert einwandfrei und schreibt die Ausgabe

Erstellen von hive-Tabelle Fehler zum laden von Twitter-Daten

Anzahl der Antworten 2 Antworten
Ich versuche zu erstellen, die externe Tabelle und versuchen zu laden, twitter-Daten in die Tabelle. Beim erstellen der Tabelle, erhalte ich die folgende Fehlermeldung und konnte nicht in der Lage, um den Fehler zu ermitteln. hive> ADD

hiveQL String zu Datum-Konvertierung

Anzahl der Antworten 2 Antworten
Ich bin ein wenig neu auf hiveQL und könnte einige Tipps. Arbeite ich an der Erstellung einer Ansicht in Bienenwachs, und ich wollte zu konvertieren einen string in einen date-Datentyp. Mein Ziel ist, klopfen die Zeit, die

Hive Erstellen Multi-kleine Dateien, die für die einzelnen insert-HDFS

Anzahl der Antworten 3 Antworten
folgenden ist bereits erreicht Kafka Producer-Daten von twitter mit Spark Streaming. Kafka Verbraucher Einlesen von Daten in Externen Hive-Tabelle(HDFS). während dies gut funktioniert, so weit. es gibt nur ein Problem ich bin vor, während meine app einfügen

Create view Hive mit Leerzeichen in Spaltennamen

Anzahl der Antworten 2 Antworten
Hive 0.7, gibt es eine Möglichkeit, eine Ansicht zu erstellen mit Leerzeichen in der Spalte name? In SQL Server, das ich tun würde: CREATE VIEW test_vw AS SELECT col_name as [col name with spaces] FROM test_tbl; Gibt

Hinzufügen/Definition Gläser in Hive-dauerhaft

Anzahl der Antworten 2 Antworten
Ich habe versucht, fügen Sie ein Glas im Bienenkorb-Klassenpfad unter Befehl hinzufügen. Befehl: hive - > hinzufügen myjar.jar aber wenn ich die login-hive, muss ich hinzufügen myjar.jar verwenden Sie den Befehl cmd ein. Gibt es eine Möglichkeit,

Wie kann wählen Sie eine Spalte und nicht eine TRANSFORMATION im Bienenstock?

Anzahl der Antworten 1 Antworten
War ich mit TRANSFORM USING mit Hive 0.8.1, und bemerkte, dass dies ist ungültige syntax: SELECT a, TRANSFORM(b, c) USING 'fake.py' AS d, FROM test_table; Entfernen "ein," macht dieses statement arbeiten. Was ist die richtige Art, mit

Computing Rang einer Zeile

Anzahl der Antworten 1 Antworten
Ich möchte Ranges Benutzer-id basiert auf einem Feld. Für den gleichen Wert des Feldes, Rang sollte gleich sein. Dass Daten in Hive-Tabelle. z.B. user value a 5 b 10 c 5 d 6 Rank a - 1

Hive-metastore-Konfiguration mit derby

Anzahl der Antworten 4 Antworten
In RedHat-test-server habe ich installiert hadoop 2.7 und ich lief Hive ,Pig & Funke-out-Probleme .Aber wenn Sie versucht, Zugriff auf metastore von Hive von Spark ich habe Fehler, So dass ich dachte, der Umsetzung hive-site.xml(Nach dem extrahieren

HIVE Externe Tisch - Set-Leer-Strings auf NULL

Anzahl der Antworten 1 Antworten
Aktuell habe ich einen HIVE 0.7-Instanz auf Amazon EMR. Ich bin versuchen, um eine Kopie der Instanz auf eine neue EMR-cluster verwenden von Hive 0.11. In meinem 0.7 Beispiel ich habe eine externe Tabelle, die leere Zeichenfolgen

So Entfernen Sie die nicht-alpha-numerischen oder nicht-numerischen Zeichen mit Hive REGEXP_EXTRACT () - Funktion

Anzahl der Antworten 1 Antworten
Ich habe versucht, herauszufinden, wie zu entfernen mehrere nicht alphanumerische oder nicht-alphanumerische Zeichen, oder nur die Rückkehr numerische Zeichen aus einem string. Ich habe versucht: SELECT regexp_extract('X789', '[0-9]', 0) FROM table_name Aber es kehrt '7', nicht '789'.

Hinzufügen Spaltentitel, um die hive-Ergebnis eingestellt

Anzahl der Antworten 4 Antworten
Ich bin mit einem hive-Skript in Amazon EMR zu analysieren, einige Daten. Und ich bin mit der übertragung der Ausgabe auf Amazon s3-bucket. Nun die Ergebnisse der hive-Skripts nicht enthalten Spaltenüberschriften. Habe ich auch versucht, mit Hilfe

Warum können die nicht hive erkennen alias-Namen im select-Teil?

Anzahl der Antworten 2 Antworten
Hier ist das Szenario: Wenn ich rufe hql wie folgt, er sagt mir, dass es nicht finden können, einen alias für u1. hive> select user as u1, url as u2 from rank_test where u1 != ""; FAILED:

Hive-Spalte als eine Unterabfrage auswählen

Anzahl der Antworten 1 Antworten
Ich versuche, etwas zu tun, wie unten mit Bienenkorb. Wie kann ich eine Spalte in Hive definiert werden als eine Unterabfrage? Ist das möglich in der Hive? hive -e " select distinct i.SearchListingID, (select count(*) from calls

erstellen partition in der externen Tabelle in hive

Anzahl der Antworten 3 Antworten
Habe ich erfolgreich erstellt und Hinzugefügt Dynamische Partitionen in einem Interne Tabelle im hive. D. H. durch mithilfe der folgenden Schritte: 1-schuf eine Quelle der Tabelle 2-geladen-Daten von der lokalen in die Quell-Tabelle 3 - erstellt eine

Wie man die ersten n Elemente in einem array im Hive

Anzahl der Antworten 2 Antworten
Verwende ich die split-Funktion ein array erstellen, in den Bienenstock, wie bekomme ich die ersten n Elemente aus dem array ab, und ich möchte Sie gehen Sie durch die sub-array - code-Beispiel select col1 from table where

Verbinden Hive, die durch die Java JDBC

Anzahl der Antworten 6 Antworten
Es ist eine Frage, die hier die Verbindung von java zu Hive aber mir ist verschiedenen Mein hive auf Computer1 und ich brauche einige Abfragen mit der Java-server läuft auf Computer2 im Dialogfeld Lizenzaktivierung. So wie ich

Die Auswahl der ersten Tag des Monats, in HIVE

Anzahl der Antworten 5 Antworten
Bin ich mit Hive (das ist ähnlich wie SQL, aber die syntax ist etwas anders für die SQL-Benutzer). Ich habe mir die anderen stackoverflow, aber Sie scheint in der SQL mit unterschiedlicher syntax. Ich versuche, die den

distinct vs. group by was ist besser

Anzahl der Antworten 1 Antworten
für den einfachsten Fall: wir alle finden Sie unter: select id from mytbl group by id und select distinct id from mytbl wie wir wissen, erzeugen Sie dieselbe Abfrage-plan, die hatte schon mehrfach erwähnt, in der einige

Hadoop, Hive, Pig, HBase, Cassandra - Wann benutzen Sie was?

Anzahl der Antworten 1 Antworten
Zunächst einmal bin ich relativ neu an Big Data und Hadoop-Welt und ich habe gerade begonnen, ein wenig Experimentieren mit der Hortonworks-Sandbox (Pig-und Hive-so weit). Ich Frage mich, in welchen Fällen könnte ich die oben genannten tools

Wie funktioniert Hive speichert die Daten, und was ist SerDe?

Anzahl der Antworten 4 Antworten
beim Abfragen einer Tabelle, einer SerDe wird Deserialisieren eine Reihe von Daten aus den bytes in der Datei für Objekte verwendet, die intern von Hive auf die Zeile der Daten. beim ausführen einer INSERT-oder CTAS (siehe "Importieren

Kann ich mehrere location zur gleichen externen hive-Tabelle?

Anzahl der Antworten 4 Antworten
Ich verarbeiten muss, die Sie mehrere Monate von Daten gleichzeitig. Also, ist es eine option, um Punkt mehrere Ordner zu der externen Tabelle? z.B. Create external table logdata(col1 string, col2 string........) location s3://logdata/april, s3://logdata/march Ich habe das

Wie Sie herausfinden, ob eine Hive-Tabelle extern oder intern?

Anzahl der Antworten 1 Antworten
Ich habe mehrere Fragen hier. Ich bin auf der Suche nach einer hive-shell-Befehle oder-Abfragen zu finden, die unten details. Gegeben hive-Datenbank-name, wie bekomme ich die Liste der externen Tabellen in dieser Datenbank? Gegeben, eine hive-Tabelle name, wie

Gibt es irgendeine Funktion in der Struktur, konvertiert Epoche Zeit auf standard-Datum?

Anzahl der Antworten 2 Antworten
to_date-Funktion nimmt diese "1970-11-01 00:00:00" als Eingabe und Rückkehr "1970-11-01". Aber ich habe Epoche mal als input. Wie kann ich es konvertieren zu standard-Datum-format? Gibt es eine Funktion zum konvertieren von standard-date zu unix-Epoche Zeit aber nicht

hive-Ausdruck Nicht In der Group By-Schlüssel

Anzahl der Antworten 4 Antworten
Erstelle ich eine Tabelle in HIVE. Es hat die folgenden Spalten: id bigint, rank bigint, date string Möchte ich, um avg(Rang) pro Monat. Ich kann diesen Befehl verwenden. Es funktioniert. select a.lens_id, avg(a.rank) from tableA a group

Hive-LEFT SEMI JOIN für 'NICHT VORHANDEN'

Anzahl der Antworten 4 Antworten
Ich habe zwei Tabellen mit einer einzigen Spalte Schlüssel an. Schlüssel in der Tabelle a sind Teilmenge aller Schlüssel in der Tabelle b. Ich muss wählen Sie Tasten aus der Tabelle b, die NICHT in der Tabelle

Hive wirft Berechtigung Fehler beim erstellen der Tabelle/Datenbank

Anzahl der Antworten 3 Antworten
Erhalte ich die Erlaubnis, Fehler in der Struktur. Ich bin mit IBM cloud - my.imdemocloud.com hive> create table a(key INT); FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException org.apache.hadoop.security.AccessControlException: Permission denied: user=nehpraka, access=WRITE, inode="warehouse":biadmin:biadmin:rwxrwxr-x) FAILED: Execution Error, return

Hive-Server-1 vs Hive Server 2

Anzahl der Antworten 3 Antworten
Wir haben hive 0.10 version und wir wurden gefragt, ob wir verwenden sollten Hive Server 1 oder Hive "Server2". Eine andere Frage ist, um eine Verbindung zum Hive-Server läuft auf port 10000, mit 3rd-party-tools, brauchen wir noch

Hive beizutreten, legen Sie die Anzahl der Reduktionen

Anzahl der Antworten 2 Antworten
Ich brauche, um die Anzahl der Reduktionen, während Sie eine join-operation im Hive. Ich möchte nicht die gleiche Anzahl von reduzierern zu jeder join-job, den ich habe. Wie Kann ich es erwähnen als argument? Vielen Dank im

RECHTS - /LINKS-OUTER-JOIN durchführen, anders als im BIENENSTOCK?

Anzahl der Antworten 2 Antworten
Bedeutet "RIGHT OUTER JOIN" und "LEFT OUTER JOIN" führen anders in HIVE? Beispielsweise Eine Tabelle ist eine kleine Tabelle. Tabelle B ist viel größer und partitioniert auf col2. Query 1: SELECT * FROM A RIGHT OUTER JOIN

Berechnen Sie die Unterschiede zwischen succesive Datensätze in Hadoop mit Hive-Abfragen

Anzahl der Antworten 3 Antworten
Habe ich eine Hive-Tabelle, die enthält Daten, die der Kunde fordert. Einfachheit halber betrachten, es hat 2 Spalten, erste Spalte enthält die Kunden-ID und die zweite Spalte enthält den Zeitstempel des Aufrufs (unix-timestamp). Ich kann eine Abfrage

Wenn mehrere Tabellen mit gleichem Präfix im Hive

Anzahl der Antworten 8 Antworten
Ich habe einige Tabellen in hive, die hat die gleiche Vorwahl wie unten.. temp_table_name temp_table_add temp_table_area Gibt es einige Hunderte von Tabellen, wie dies in meiner Datenbank zusammen mit vielen anderen Tabellen. Ich will zum löschen von

Ungültige Tabellen-alias oder Spalte Referenz b

Anzahl der Antworten 1 Antworten
Was ist falsch mit dieser Abfrage (im hive): SELECT count(*) TotalCount, b.region_code from XXX a INNER JOIN YYY b ON a.uid=b.uid where a.dt = '2015-04-15' group by b.region_code order by b.region_code Ich denke, es sollte ziemlich einfach

Hive-laden in partitionierten Tabelle

Anzahl der Antworten 5 Antworten
Habe ich eine log-Datei in HDFS Werte sind durch Komma getrennt. Zum Beispiel: 2012-10-11 12:00,opened_browser,userid111,deviceid222 Nun will ich diese Datei laden, um Hive-Tabelle, die Spalten "timestamp","action" und partitioniert, die durch "userid","deviceid". Wie kann ich Fragen, Bienenstock zu

Aufteilen von Daten in mehrere Spalten im Bienenstock

Anzahl der Antworten 1 Antworten
Wie kann ich die split ein Daten-string in 3 separate Spalten in eine Hive-Tabelle? Beispiel Eingangsdaten: 116:151:1. Split gid, sid, rid. Gewünschte Ausgabe: gid sid rid 116 151 1 InformationsquelleAutor vanj | 2015-12-07

HIVE, STRING ZU DATUM CASTING

Anzahl der Antworten 1 Antworten
Ich bin vor problem bei der Umwandlung von string zu date-Typ. Beim Import der Daten mit hive habe ich eine Spalte activation_date mit Typ - - string (da ich nicht in der Lage war, ihn zu importieren

Export-Hive-Tabelle, csv in hdfs

Anzahl der Antworten 3 Antworten
Ich weiß, es ist ein bekanntes Problem mit Trennzeichen beim speichern einer Tabelle in das csv - (oder andere text-Datei) in den Bienenstock. So Frage ich mich, wenn Euch kann mir helfen, dass rund. Ich habe eine

com.mysql.jdbc.Treiber nicht gefunden-classpath beim starten von spark sql-und thrift-server

Anzahl der Antworten 3 Antworten
Ich erhalte den folgenden Fehler beim starten des spark-sql-shell. Aber wenn ich die shell starten mit dem Befehl funktioniert es ./spark-sql --jars /usr/local/hive/lib/mysql-connector-java.jar Aber wenn ich starten Sie den thrift-server in der gleichen Weise mit unten comamnd

Daten nicht immer geladen in die Partitionierte Tabelle in Hive

Anzahl der Antworten 3 Antworten
Ich versuche zu erstellen partition für meine Tabelle durchzuführen, um einen Wert zu aktualisieren. Dies ist meine sample-Daten 1,Anne,Admin,50000,A 2,Gokul,Admin,50000,B 3,Janet,Sales,60000,A Ich aktualisieren möchten Janet's Abteilung B. So für zu tun, dass ich eine Tabelle erstellt mit

Mit FileFormat-v Serde zu Lesen, benutzerdefinierte text-Dateien

Anzahl der Antworten 4 Antworten
Hadoop/Hive Neuling hier. Ich bin versucht, Daten in einen benutzerdefinierten text-basierten format mit Bienenkorb. Mein Verständnis ist, können Sie entweder schreiben Sie ein benutzerdefiniertes FileFormat oder eine benutzerdefinierte SerDe Klasse zu tun. Ist das der Fall oder

Erstellen von HIVE-Tabelle mit multi-character delimiter

Anzahl der Antworten 2 Antworten
Möchte ich zum erstellen einer HIVE-Tabelle mit multi-string-Zeichen als Trennzeichen, wie CREATE EXTERNAL TABlE tableex(id INT, name STRING) ROW FORMAT delimited fields terminated by ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/user/myusername'; Ich will Trennzeichen

Im Bienenstock gibt es eine Möglichkeit, um anzugeben, zwischen denen Spalten hinzufügen, um eine neue Spalte?

Anzahl der Antworten 3 Antworten
Kann ich tun ALTER TABLE table_name ADD COLUMNS (user_id BIGINT) hinzufügen einer neuen Spalte am Ende meiner nicht-partition Spalten und bevor meine partition Spalten. Gibt es eine Möglichkeit, eine neue Spalte hinzufügen, um überall unter meinen nicht-partition

Struktur: parsing JSON

Anzahl der Antworten 4 Antworten
Ich versuche, einige Werte aus der verschachtelten JSON für Millionen von Zeilen (5 TB+ Tabelle). Was ist der effizienteste Weg, dies zu tun? Hier ist ein Beispiel: {"country":"US","page":227,"data":{"ad":{"impressions":{"s":10,"o":10}}}} Brauche ich diese Werte aus der oben genannten JSON:

Hadoop auf cassandra-Datenbank

Anzahl der Antworten 1 Antworten
Bin ich mit Cassandra zum speichern meiner Daten und Struktur zum verarbeiten meiner Daten. Ich habe 5 Maschinen, auf denen habe ich cassandra und 2 Maschinen, die ich als analytics-Knoten(wo hive läuft) So möchte ich Fragen, ist

Abfrage Anzeigen Werte in Hive

Anzahl der Antworten 1 Antworten
Ich habe eine Tabelle in hive wich aktualisiert evry Stunden von Spark/Parkettboden CREATE TABLE IF NOT EXISTS user ( name STRING, creation_date DATE, cards map<STRING,STRING> ) STORED AS PARQUET ; Nehmen wir an, ich möchte zur Abfrage

Wie zu subtrahieren Monate aus Datum in HIVE

Anzahl der Antworten 3 Antworten
Ich bin auf der Suche nach einer Methode, die mir hilft, subtrahieren Monate von einem Datum in HIVE Habe ich ein Datum 2015-02-01. Jetzt muss ich subtrahieren von 2 Monaten ab diesem Datum, so dass Ergebnis sollte

Was ist der Unterschied von RDBMS und Hive?

Anzahl der Antworten 6 Antworten
In RDMS wie MySQL thereis Datenbank, gibt es die Datenbank auch auf der Hive ?wie ich gelesen habe im manual, hive, nur haben die Tabelle, die ich etwas verwirren darüber.. und was ist anderes Konzept von RDBMS