Tag: hive
Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.
Hive-LEFT SEMI JOIN für 'NICHT VORHANDEN'
4 Antworten
Ich habe zwei Tabellen mit einer einzigen Spalte Schlüssel an. Schlüssel in der Tabelle a sind Teilmenge aller Schlüssel in der Tabelle b. Ich muss wählen Sie Tasten aus der Tabelle b, die NICHT in der Tabelle
Hive wirft Berechtigung Fehler beim erstellen der Tabelle/Datenbank
3 Antworten
Erhalte ich die Erlaubnis, Fehler in der Struktur. Ich bin mit IBM cloud - my.imdemocloud.com hive> create table a(key INT); FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException org.apache.hadoop.security.AccessControlException: Permission denied: user=nehpraka, access=WRITE, inode="warehouse":biadmin:biadmin:rwxrwxr-x) FAILED: Execution Error, return
Hive-Server-1 vs Hive Server 2
3 Antworten
Wir haben hive 0.10 version und wir wurden gefragt, ob wir verwenden sollten Hive Server 1 oder Hive "Server2". Eine andere Frage ist, um eine Verbindung zum Hive-Server läuft auf port 10000, mit 3rd-party-tools, brauchen wir noch
Hive beizutreten, legen Sie die Anzahl der Reduktionen
2 Antworten
Ich brauche, um die Anzahl der Reduktionen, während Sie eine join-operation im Hive. Ich möchte nicht die gleiche Anzahl von reduzierern zu jeder join-job, den ich habe. Wie Kann ich es erwähnen als argument? Vielen Dank im
RECHTS - /LINKS-OUTER-JOIN durchführen, anders als im BIENENSTOCK?
2 Antworten
Bedeutet "RIGHT OUTER JOIN" und "LEFT OUTER JOIN" führen anders in HIVE? Beispielsweise Eine Tabelle ist eine kleine Tabelle. Tabelle B ist viel größer und partitioniert auf col2. Query 1: SELECT * FROM A RIGHT OUTER JOIN
Berechnen Sie die Unterschiede zwischen succesive Datensätze in Hadoop mit Hive-Abfragen
3 Antworten
Habe ich eine Hive-Tabelle, die enthält Daten, die der Kunde fordert. Einfachheit halber betrachten, es hat 2 Spalten, erste Spalte enthält die Kunden-ID und die zweite Spalte enthält den Zeitstempel des Aufrufs (unix-timestamp). Ich kann eine Abfrage
Wenn mehrere Tabellen mit gleichem Präfix im Hive
8 Antworten
Ich habe einige Tabellen in hive, die hat die gleiche Vorwahl wie unten.. temp_table_name temp_table_add temp_table_area Gibt es einige Hunderte von Tabellen, wie dies in meiner Datenbank zusammen mit vielen anderen Tabellen. Ich will zum löschen von
Ungültige Tabellen-alias oder Spalte Referenz b
1 Antworten
Was ist falsch mit dieser Abfrage (im hive): SELECT count(*) TotalCount, b.region_code from XXX a INNER JOIN YYY b ON a.uid=b.uid where a.dt = '2015-04-15' group by b.region_code order by b.region_code Ich denke, es sollte ziemlich einfach
Hive-laden in partitionierten Tabelle
5 Antworten
Habe ich eine log-Datei in HDFS Werte sind durch Komma getrennt. Zum Beispiel: 2012-10-11 12:00,opened_browser,userid111,deviceid222 Nun will ich diese Datei laden, um Hive-Tabelle, die Spalten "timestamp","action" und partitioniert, die durch "userid","deviceid". Wie kann ich Fragen, Bienenstock zu
Aufteilen von Daten in mehrere Spalten im Bienenstock
1 Antworten
Wie kann ich die split ein Daten-string in 3 separate Spalten in eine Hive-Tabelle? Beispiel Eingangsdaten: 116:151:1. Split gid, sid, rid. Gewünschte Ausgabe: gid sid rid 116 151 1 InformationsquelleAutor vanj | 2015-12-07
HIVE, STRING ZU DATUM CASTING
1 Antworten
Ich bin vor problem bei der Umwandlung von string zu date-Typ. Beim Import der Daten mit hive habe ich eine Spalte activation_date mit Typ - - string (da ich nicht in der Lage war, ihn zu importieren
Export-Hive-Tabelle, csv in hdfs
3 Antworten
Ich weiß, es ist ein bekanntes Problem mit Trennzeichen beim speichern einer Tabelle in das csv - (oder andere text-Datei) in den Bienenstock. So Frage ich mich, wenn Euch kann mir helfen, dass rund. Ich habe eine
com.mysql.jdbc.Treiber nicht gefunden-classpath beim starten von spark sql-und thrift-server
3 Antworten
Ich erhalte den folgenden Fehler beim starten des spark-sql-shell. Aber wenn ich die shell starten mit dem Befehl funktioniert es ./spark-sql --jars /usr/local/hive/lib/mysql-connector-java.jar Aber wenn ich starten Sie den thrift-server in der gleichen Weise mit unten comamnd
Daten nicht immer geladen in die Partitionierte Tabelle in Hive
3 Antworten
Ich versuche zu erstellen partition für meine Tabelle durchzuführen, um einen Wert zu aktualisieren. Dies ist meine sample-Daten 1,Anne,Admin,50000,A 2,Gokul,Admin,50000,B 3,Janet,Sales,60000,A Ich aktualisieren möchten Janet's Abteilung B. So für zu tun, dass ich eine Tabelle erstellt mit
Mit FileFormat-v Serde zu Lesen, benutzerdefinierte text-Dateien
4 Antworten
Hadoop/Hive Neuling hier. Ich bin versucht, Daten in einen benutzerdefinierten text-basierten format mit Bienenkorb. Mein Verständnis ist, können Sie entweder schreiben Sie ein benutzerdefiniertes FileFormat oder eine benutzerdefinierte SerDe Klasse zu tun. Ist das der Fall oder
Erstellen von HIVE-Tabelle mit multi-character delimiter
2 Antworten
Möchte ich zum erstellen einer HIVE-Tabelle mit multi-string-Zeichen als Trennzeichen, wie CREATE EXTERNAL TABlE tableex(id INT, name STRING) ROW FORMAT delimited fields terminated by ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/user/myusername'; Ich will Trennzeichen
Im Bienenstock gibt es eine Möglichkeit, um anzugeben, zwischen denen Spalten hinzufügen, um eine neue Spalte?
3 Antworten
Kann ich tun ALTER TABLE table_name ADD COLUMNS (user_id BIGINT) hinzufügen einer neuen Spalte am Ende meiner nicht-partition Spalten und bevor meine partition Spalten. Gibt es eine Möglichkeit, eine neue Spalte hinzufügen, um überall unter meinen nicht-partition
Struktur: parsing JSON
4 Antworten
Ich versuche, einige Werte aus der verschachtelten JSON für Millionen von Zeilen (5 TB+ Tabelle). Was ist der effizienteste Weg, dies zu tun? Hier ist ein Beispiel: {"country":"US","page":227,"data":{"ad":{"impressions":{"s":10,"o":10}}}} Brauche ich diese Werte aus der oben genannten JSON:
Hadoop auf cassandra-Datenbank
1 Antworten
Bin ich mit Cassandra zum speichern meiner Daten und Struktur zum verarbeiten meiner Daten. Ich habe 5 Maschinen, auf denen habe ich cassandra und 2 Maschinen, die ich als analytics-Knoten(wo hive läuft) So möchte ich Fragen, ist
Abfrage Anzeigen Werte in Hive
1 Antworten
Ich habe eine Tabelle in hive wich aktualisiert evry Stunden von Spark/Parkettboden CREATE TABLE IF NOT EXISTS user ( name STRING, creation_date DATE, cards map<STRING,STRING> ) STORED AS PARQUET ; Nehmen wir an, ich möchte zur Abfrage
Wie zu subtrahieren Monate aus Datum in HIVE
3 Antworten
Ich bin auf der Suche nach einer Methode, die mir hilft, subtrahieren Monate von einem Datum in HIVE Habe ich ein Datum 2015-02-01. Jetzt muss ich subtrahieren von 2 Monaten ab diesem Datum, so dass Ergebnis sollte
Was ist der Unterschied von RDBMS und Hive?
6 Antworten
In RDMS wie MySQL thereis Datenbank, gibt es die Datenbank auch auf der Hive ?wie ich gelesen habe im manual, hive, nur haben die Tabelle, die ich etwas verwirren darüber.. und was ist anderes Konzept von RDBMS
- Hadoop-Hive-slow-queries
4 Antworten
Ich bin neu auf-Hadoop-Hive-und ich bin die Entwicklung einer reporting-Lösung. Das problem ist, dass die query-performance ist sehr langsam (hive 0.10, hbase 0.94, hadoop 1.1.1). Eine der Fragen ist: select a.*, b.country, b.city from p_country_town_hotel b inner
Hive-Gruppierung und Berechnung von Durchschnitt berechnen, indem verschiedene
1 Antworten
Leute wir haben einen WLAN-Anforderung in den BIENENSTOCK, und wir sind nicht in der Lage zu schreiben-Abfrage für die gleiche Grundsätzlich haben wir folgende Daten. CUSTOMER_NAME PRODUCT_NAME PRICE OCCURANCE ID customer1, product1, 20, 1 customer1, product2, 30,
Nicht durchsetzen konnte Verbindung zu localhost:10000/default: java.net.ConnectException: Connection refused
1 Antworten
Habe ich die Arbeit an Hadoop/Hive. Ich habe installiert Hadoop 1.1.2 und Hive-0.10.0.Wenn ich-Struktur als Eingabeaufforderung dann funktioniert es einwandfrei,aber wenn ich Sie benutze, wie es JDBC in Eclipse gibt dann die folgende Fehlermeldung : Nicht durchsetzen
erstellen Sie ein schema im hive
1 Antworten
Wie kann ich mehrere schema-unter einem Benutzer-definierten DB hive? Ich versuche, ein schema zu erstellen, die unter einem DB sam_db im hive. Ich bin mit dem folgenden code. use sam_db; create schema sam_db_schema; Aber wenn ich besuchen
Was ist der Unterschied zwischen -DskipTests und -Dmaven.test.skip=true
2 Antworten
Ich versuche zu bauen hive-0.13. Bei der Verwendung -Dmaven.test.skip=true es wird nicht erstellen die test-Gläser, aber es wird check test Abhängigkeit. Bei der Verwendung -DskipTests es wird nicht erstellen die test-Gläser und auch nicht prüfen, test Abhängigkeit.
Wie update partition Metadaten im Bienenstock , wenn partition Daten Händisch gelöscht von HDFS
3 Antworten
Was ist der Weg, um automatisch aktualisieren Sie die Metadaten von Hive-Tabellen? Wenn neue partition, die Daten Hinzugefügt wurden, um HDFS (ohne alter table add partition, Befehl-Ausführung) . dann können wir die Synchronisierung der Metadaten, indem Sie
Hive einfügen von Werten in ein array komplexer Typ Spalte
3 Antworten
Ich bin nicht in der Lage zum Anhängen von Daten zu Tabellen, die eine array-Spalte mithilfe der insert into-Anweisungen, die Daten-Typ array < varchar(200) > Mit jodbc ich bin nicht in der Lage, um das einfügen von
Hive-Fehler: parseexception missing EOF
6 Antworten
Ich bin nicht sicher, was mache ich hier falsch: hive> CREATE TABLE default.testtbl(int1 INT,string1 STRING) stored as orc tblproperties ("orc.compress"="NONE") LOCATION "/user/hive/test_table"; FAILED: ParseException line 1:107 missing EOF at 'LOCATION' near ')' während die folgende Abfrage funktioniert
Shell-script zum ausführen von HiveQL-Abfragen
1 Antworten
Ich bin neu in der Unix-Shell-Scripting-Welt. Ich wollte eine einfache sql-Abfrage aus der unix-shell-Skript und die Ausgabe in eine .txt-Datei und dann senden .txt-Datei als Anhang in einer E-Mail. SQL-Abfragen und umleiten der Ausgabe in eine txt-Datei:
Was für eine Art von hash-Algorithmus wird verwendet für die Hive-built-in HASH () - Funktion
2 Antworten
Welche Art von hashing-Algorithmus verwendet wird, der eingebaute HASH () - Funktion? Bin ich im Idealfall auf der Suche für ein SHA512/SHA256-hash, ähnlich wie bei dem SHA () - Funktion bietet innerhalb der linkedin datafu UDFs für
Wie zu beenden beeline?
6 Antworten
Ich bin mit CDH 5.5 und verwenden müssen, beeline. Ich bin ziemlich neu für Sie und lernen Sie es jetzt. Ich kann beeline starten, aber nicht beenden, als wir im Hive. Ich muss mit Strg+z beenden, das
Hadoop: FSCK Ergebnis zeigt fehlende Repliken
1 Antworten
könnte jemand lassen Sie mich wissen, wie kann man das fehlende Repliken? ============================================================================ Insgesamt Größe: 3447348383 B Insgesamt dirs: 120 Gesamt Dateien: 98 Total blockiert (überprüft): 133 (avg. block Größe 25919912 B) Minimal replizierte Blöcke: 133 (100.0
HiveQL UNION ALLE
2 Antworten
Habe ich table_A: id var1 var2 1 a b 2 c d Table_B: id var1 var2 3 e f 4 g h Alles was ich will ist ein Tisch, kombiniert: id var1 var2 1 a b 2
Wie die hadoop-Daten-Verzeichnis-Struktur???
2 Antworten
Habe ich partitionierte Tabelle in hive. Also ich will sehen, die Verzeichnis-Struktur in hadoop hdfs? Vom Dokumentation, die ich gefunden habe, den folgenden Befehl hadoop fs -ls /app/hadoop/tmp/dfs/data/ sowie /app/hadoop/tmp/dfs/data/ meine Daten Weg. Aber dieser Befehl return
wie zum ausführen von hive im debug-Modus
3 Antworten
nahm ich Beispiel von cloudera website zum schreiben eines benutzerdefinierten SerDe zum Parsen einer Datei http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/ scheint es ein gutes Beispiel, aber wenn ich Sie auf Tabelle erstellen, mit benutzerdefinierten serde ADD JAR <path-to-hive-serdes-jar>; CREATE EXTERNAL TABLE
Holen Sie sich die Zeile mit der max-Wert in Stock/SQL?
4 Antworten
Ich bin neu auf Hive/SQL-und ich bin stecken geblieben auf einem relativ einfachen problem. Meine Daten sieht wie folgt aus: +------------+--------------------+-----------------------+ | carrier_iD | meandelay | meancanceled | +------------+--------------------+-----------------------+ | EV | 13.795802119653473 | 0.028584251044292006 | |
Hive Unterschied zwischen 2 Platten
1 Antworten
Habe ich Datensätze mit Datum und Status. Ich möchte nur die Datensätze anzuzeigen, die Staaten haben sich verändert aus dem vorherigen Datensatz. Beispiel Eingabe date state 2013-01-15 04:15:07.602 ON 2013-01-15 05:15:08.502 ON 2013-01-15 06:15:08.502 OFF 2013-01-15 07:15:08.502
Schreiben Sie eine geschachtelte select-Anweisung mit einer where-Klausel in Hive
3 Antworten
Habe ich eine Vorschrift zur Durchführung einer geschachtelten select innerhalb der where-Klausel in einer Hive-Abfrage. Ein Beispiel-code-snippet wie folgt aus; select * aus TableA wo TA_timestamp > (select timestmp aus TableB where id="hourDim") Ist das möglich oder
Execution Error, return code 1 von org.apache.hadoop.hive.ql.exec.MapRedTask
4 Antworten
Ich bin vor Probleme bei der Ausführung von BEDINGTEN ABFRAGEN IN HiveQL.Die grundlegenden select * from tablename - Anweisung funktioniert. Der Fehler ist : Total MapReduce jobs = 1 Launching Job 1 out of 1 Number of
apache hive kann keine Verbindung zum derby:metastore_db obwohl ij von derby kann
2 Antworten
Ich bin einrichten eines hive auf hadoop-cluster auf drei Maschinen. Die hadoop (2.7.1) und derby (10.11) läuft wunderbar: hduser@master:~$ ij ij version 10.11 ij> connect 'jdbc:derby://localhost:1527/metastore_db;create=true'; ij> select * from a; ID ----------- 0 rows selected ij>
org.apache.hadoop.hbase.PleaseHoldException: Master initialisieren
4 Antworten
Ich versuche zu setup die multinode cluster von Hbase. Wenn ich die jps auf slave bekomme ich 5780 Jps 5558 HQuorumPeer 5684 HRegionServer 1963 DataNode 2093 TaskTracker ebenso auf master bekomme ich 4254 SecondaryNameNode 15226 Jps 14982
Gibt es eine maximale Größe von string-Datentyp in den Bienenstock?
1 Antworten
Google eine Tonne, aber haben es nicht gefunden überall. Oder bedeutet das, dass Hive unterstützen können beliebige große string-Datentyp, solange cluster ist erlaubt? Wenn ja, wo kann ich finden, was ist die größte Größe der string-Datentyp, dass
Alter hive-Tabelle hinzufügen oder löschen Spalte
6 Antworten
Ich habe orc-Tabelle in hive, die ich will, um die drop-Spalte aus dieser Tabelle ALTER TABLE table_name drop col_name; aber ich bin immer folgende exception Fehler aufgetreten ist ausführen von hive-Abfragen: OK FEHLGESCHLAGEN: ParseException Zeile 1:35 nicht
Wie verwenden von hive mit anderen user
7 Antworten
Ich installiert Hadoop und Hive auf 3 cluster. Normalerweise kann ich mithilfe von hive und Hadoop, aber wenn ich nach der Anmeldung mit anderen Benutzer, kann ich nicht Hive. Der Fehler ist: hive - > show tables;
Hive-query-string-Fall
3 Antworten
Gibt es einen Weg, um alle Arten von string-Fälle, während dies zu tun: select count(word) from table where word="abcd" Eigentlich, wenn Sie dies tun, ist es nicht das gleiche wie dieses: select count(word) from table where word="ABCD"
Hive DateTime Truncators (QUARTAL, WOCHE, DAYOFWEEK)?
2 Antworten
Gibt es Ausdrücke, die man QUARTER, WEEK und DAYOFWEEK von einem DateTime-Feld in der Struktur (v0.14.1), die das gleiche tun wie diese buildin-Funktionen in MySql? hier ist die Spezifikation dessen, was ich möchte (aus der MySql-doc): QUARTAL
Dynamische Partitionierung + ERSTELLEN ALS auf HIVE
2 Antworten
Ich versuche, erstellen Sie eine neue Tabelle aus einer anderen Tabelle mit CREATE AS und dynamische Partitionierung auf HiveCLI. Ich Lerne von offiziellen Hive-wiki, wo es dieses Beispiel: CREATE TABLE T (key int, value string) PARTITIONED BY
wie konvertieren von unix-Epoche, Zeit, Datum, string in hive
5 Antworten
Habe ich eine log-Datei, die enthält eine timestamp-Spalte. Der Zeitstempel ist im unix-epoch-format für die Uhrzeit. Möchte ich eine partition erstellen, basierend auf einem Zeitstempel Partitionen mit Jahr, Monat und Tag. Bisher habe ich dies getan, aber