Tag: hive

Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.

ausführen von Hive-Abfragen von Spark

Anzahl der Antworten 2 Antworten
Ich versuche, diesen code ausführen, werden in der Funke-shell: val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.sql("show tables") Nach der Ausführung der zweiten Zeile, ich bin immer eine Ausnahme: java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.- Treiber.getResults(Ljava/util/ArrayList;)Z bei org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:305) bei org.apache.spark.sql.hive.HiveContext.runSqlHive(HiveContext.scala:272) bei org.apache.spark.sql.hive.Ausführung.NativeCommand.sideEffectResult$lzycompute(NativeCommand.scala:35) bei

Accesing Hive-Tabellen in spark

Anzahl der Antworten 1 Antworten
Habe ich Hive 0.13 installation und eigene Datenbanken. Ich habe spark 1.1.0 einzelnen Knoten cluster gebaut mit mvn -hive-option. Ich möchte den Zugriff auf Tabellen in dieser Datenbank, in der spark-Anwendung mit hivecontext. Aber hivecontext ist immer

Luftstrom bekommen Ergebnis nach der Ausführung eines operators

Anzahl der Antworten 1 Antworten
Habe ich konfiguriert Luftstrom erstellt und einige Dags und subDags, die rufen mehrere Operatoren. Mein Problem ist, dass, wenn ein Betreiber läuft und beendet den job, ich würde gerne die Ergebnisse wieder in einigen python-Struktur. Zum Beispiel:

Berechnen % hive-Abfrage

Anzahl der Antworten 1 Antworten
mit der folgenden Abfrage kann ich in der Lage, um die Transaktion genehmigt für pro-client auf pro Tag basis. select q1.client_id, q1.receive_day, count(q1.client_id) as cnt from (select * from sale where response=00) q1 group by q1.client_id, q1.receive_day

speichern dataframe als externe hive-Tabelle

Anzahl der Antworten 3 Antworten
Benutzt habe ich eine Möglichkeit zum speichern dataframe als externe Tabelle mit Parkett-Datei-format, aber gibt es eine andere Möglichkeit zu sparen dataframes direkt als externe Tabelle in hive-wie haben wir saveAsTable für verwaltete Tabelle InformationsquelleAutor sunil kumar

Erstellen einer HIVE-Tabelle zum Lesen von Semikolon getrennten Werte

Anzahl der Antworten 3 Antworten
Möchte ich zum erstellen einer HIVE-Tabelle wird gelesen Semikolon getrennte Werte, aber mein code gibt mir immer Fehler. Hat jemand irgendwelche Vorschläge? CREATE TABLE test_details(Time STRING, Vital STRING, sID STRING) PARTITIONED BY(Country STRING) ROW FORMAT DELIMITED FIELDS

Struktur -, Kommentare Hinzufügen zu Tabellen

Anzahl der Antworten 1 Antworten
Wenn ich versuche, Kommentare hinzufügen zu meinen Hive-Tabelle, ALTER TABLE table1 SET TBLPROPERTIES ('comment' = new_comment); Bekomme ich die folgende Fehlermeldung: FAILED: ParseException line 1:64 mismatched input 'new_comment' expecting StringLiteral near '=' in specifying key/value property Jemand

Wie zu verwenden MINUS-operator in Impala/Hive?

Anzahl der Antworten 1 Antworten
Wie kann ich einen MINUS-operator-Suchanfrage im Impala? Beispiel: Tabelle: Spiel Spalten: Official_start, halftime_start Will ich senden Sie eine Abfrage, in der halftime_start - official_start und speichern Sie es als firsttimeplayed Ich weiß, dass MINUS nicht vorhanden Impala

Konvertieren Sie das Feld Leer, NULL Hive

Anzahl der Antworten 2 Antworten
Ich versuche zu konvertieren, leere Werte in der Quell-Datei auf NULL in der hive-Tabelle durch das setzen der Eigenschaft 'serialization.null.format' = '' . Die Abfrage die ich geschrieben habe, in hive ist: create table test(a int, b

Wie man Metadaten von hive-Tabellen, Spalten, Ansichten, Einschränkung Tasten und Kommentar-Spalten?

Anzahl der Antworten 4 Antworten
Bitte helfen Sie mir, wie Sie Metadaten von hive-Tabellen, Spalten, Ansichten, Einschränkung Tasten und Kommentar-Spalten. Die ich gefunden habe, einfache Abfragen, wie " desc Tabellenname;zeigt databses. Aber ich muss mit Tabellen und Spalten ,Ansichten zu bekommen metedata.

Be-Daten mit Hive, S3, EMR und Partitionen Wiederherstellen

Anzahl der Antworten 1 Antworten
GELÖST: Siehe Update #2 unten für die 'Lösung' dieses Problems. ~~~~~~~ In s3 habe ich einige log*.gz-Dateien gespeichert, die in einer verschachtelten Verzeichnisstruktur wie: s3://($BUCKET)/y=2012/m=11/d=09/H=10/ Ich bin versucht zu laden, diese in die Hive auf " Elastic

Effiziente Speicherung der Daten in Hive

Anzahl der Antworten 1 Antworten
Wie kann ich effizient speichern von Daten in Hive und auch das speichern und abrufen der komprimierten Daten in hive? Derzeit bin ich der Speicherung als Textdatei. Ich wurde durch Bejoy Artikel und ich fand, dass die

Erstellen einer partitionierten hive-Tabelle, die von einer nicht partitionierten Tabelle

Anzahl der Antworten 2 Antworten
Habe ich eine Hive-Tabelle, die erstellt wurde durch den Beitritt von Daten aus mehreren Tabellen. Die Daten für diese befindet sich in einem Ordner, die mehrere Dateien ("0001_1" , "0001_2", ... und so weiter). Ich muss eine

Gruppe, die von einer generierten Spalte

Anzahl der Antworten 2 Antworten
Ich versuche, die Gruppe Daten von Minuten, also versuchte ich diese Abfrage: SELECT FROM_UNIXTIME( unix_timestamp (time, 'yyyy-mm-dd hh:mm:ss'), 'yyyy-mm-dd hh:mm') as ts, count (*) as cnt from toucher group by ts limit 10; Dann Bienenkorb sagt mir

Fehler in der Struktur : Zugrunde liegende Fehler: org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException: Ein oder mehrere Argumente erwartet

Anzahl der Antworten 4 Antworten
Ich versuche zu übersetzen, einige PL/SQL-Skript im hive, und ich Stand vor einem Fehler eines HiveQL-Skript. Der Fehler ist dieser : FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depend

SQL-Abfrage-JOIN mit Tabelle

Anzahl der Antworten 2 Antworten
select user_id, prod_and_ts.product_id as product_id, prod_and_ts.timestamps as timestamps from testingtable2 LATERAL VIEW explode(purchased_item) exploded_table as prod_and_ts; Mithilfe der obigen Abfrage, erhalte ich die unten Ausgabe. USER_ID | PRODUCT_ID | TIMESTAMPS ------------+------------------+------------- 1015826235 220003038067 1004841621 1015826235 300003861266 1005268799

Vorgehensweise zum berechnen der Monate, die zwischen hive?

Anzahl der Antworten 3 Antworten
Gibt es eine Möglichkeit zum berechnen der Monate zwischen zwei Datumsangaben basierend auf dem Monat und Jahr zB 2016-01-01 2017-01-22 Brauche ich 12 zurückgegeben werden, im integer-format in den Bienenstock. InformationsquelleAutor user2672739 | 2017-01-04

Wenn Sie erstellen Sie eine externe Tabelle in Hive mit einer S3 Lage ist, die Daten übertragen?

Anzahl der Antworten 2 Antworten
Beim anlegen einer externen Tabelle in Hive (Hadoop) mit einem Amazon S3 Quelle Lage ist, die Daten übertragen auf die lokalen Hadoop HDFS auf: externe Erstellung der Tabelle wenn bogenlagen (HERR jobs) ausgeführt werden, die auf die

Wie group by mehrere Spalten und transponieren in Hive

Anzahl der Antworten 1 Antworten
Habe ich einige Daten, die ich will für die Gruppierung nach mehreren Spalten, führen Sie eine Aggregatfunktion auf, und dann transponieren in verschiedene Spalten mit Hive. Beispielsweise angesichts dieser Eingang Eingang: hr type value 01 a 10

HIVE-ODBC-connector-Einstellungen

Anzahl der Antworten 2 Antworten
Konfigurierte ich unixodbc zu verwenden, die hive-Anschluss von cloudera, auf meinem Linux Mint Maschine, aber ich bekomme immer wieder die folgende Fehlermeldung beim Versuch, eine Verbindung zu hive (z.B. mit isql -v hive) S1000][unixODBC][Cloudera][ODBC] (11560) Unable to

Für langsam veränderliche Dimensionen - SCD1 und SCD2 Umsetzung in Hive

Anzahl der Antworten 5 Antworten
Ich bin auf der Suche nach SCD1 und SCD2 Umsetzung in Struktur (1.2.1). Ich bin mir bewusst, Abhilfe zu laden, SCD1 und SCD2 Tabellen vor zu Hive (0.14). Hier ist der link für das laden von SCD1

HiveQL - Zeichenfolge enthält den Gegenwert in hiveql UDF?

Anzahl der Antworten 1 Antworten
Ich würde gerne verwenden Sie hiveql UDF, um zu überprüfen, ob die Zeichenfolge enthält, die spezifischen Charakter haben oder nicht? Stieß ich auf die unten einer. find_in_set(str, strlist) Ist dies die richtige UDF zu verwenden? Zum Beispiel:

mit hive bekam Ausnahme java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning

Anzahl der Antworten 2 Antworten
nach der Konfiguration von hadoop Ich konnte laufen hdfs dann installieren hive und Bearbeiten der conf-Datei, um es auf tez standardmäßig aber das laufen in einige spezielle Problem bei der Verwendung von hive direkt: hive Exception in

Wie Pretty Print Hive-Ausgang

Anzahl der Antworten 2 Antworten
Wie muss ich Hive drucken Sie schön formatierte Ergebnisse, die mit den Spaltennamen und angenehm Platz, wie mysql? Zum Beispiel: $ hive -f performanceStatistics.hql ... Kill Command = /usr/lib/hadoop/bin/hadoop job -kill job_201306211023_1053 Hadoop job information for Stage-1:

Wie funktioniert Schwein verarbeiten von unstrukturierten Daten, während Hive nicht kann?

Anzahl der Antworten 2 Antworten
Laut diese und sonstige Verweise Schwein ist besser als Hive verarbeiten von unstrukturierten Daten. So, die Daten zuerst gereinigt mit Schwein und dann verarbeitet mit Bienenkorb. Aber, in der data factory, können keine Daten werden in einem

Offset-Funktionen im Hive

Anzahl der Antworten 2 Antworten
Wie kann ich erreichen die gleiche Funktionalität wie SQL "offset" im Bienenkorb? SELECT * from table LIMIT 20 OFFSET 30 Dank! Dies ist die gleiche Funktionalität wie limit 20, 30 im MySQL. stackoverflow.com/questions/11750312/... InformationsquelleAutor Jieren | 2013-10-02

Wie zum einfügen in die Hive-Tabelle mit einer Spalte vom Datentyp "array" <struct<int>>

Anzahl der Antworten 1 Antworten
Ich versuche zum einfügen von Daten in eine Tabelle in Hive, die ich erstellt. Ich habe gekämpft, so bin ich versucht, um es zu vereinfachen, so viel wie möglich zu erhalten, um die Wurzel des Problems. Hier

Das hinzufügen einer neuen Spalte mit einem Konstanten Wert in hive

Anzahl der Antworten 1 Antworten
Ich versuche erstellen Sie eine Tabelle mit dem Namen errtable aus einer anderen Tabelle errcode mit einer extra-Spalte. Die errcode Tabelle hat das folgende schema : id-STRING, msg-STRING Den errtable hat eine extra Spalte, die app_name STRING

Was ist die Standard-MapReduce-join von Apache Hive?

Anzahl der Antworten 2 Antworten
Was ist die Standard-join mit MapReduce-Algorithmus implementiert, durch den Bienenstock? Wird es ein Map-Side-Join, Verringern Sie-Seite, Broadcast-Join, etc.? Ist es nicht angegeben, in der original-Papier noch den Hive-wiki auf joins: http://cs.brown.edu/courses/cs227/papers/hive.pdf https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Tritt Die Hive version? Unter welcher

hive: Mit collect_set mit ein Trennzeichen

Anzahl der Antworten 1 Antworten
Ich versuche, mit collect_set in einer hive-Abfrage zum gruppieren der Spalten auf einer group by-Bedingung. Jede Zeile wird mit Leerzeichen als Trennzeichen anstelle von ',' oder so etwas. So ändern Sie das Trennzeichen auf ',' oder andere

Warum ist Spark saveAsTable mit bucketBy die Schaffung von tausenden von Dateien?

Anzahl der Antworten 3 Antworten
Kontext Funke 2.0.1, Funke-Abgabe im cluster-Modus. Ich lese ein Parkett-Datei aus dem hdfs: val spark = SparkSession.builder .appName("myApp") .config("hive.metastore.uris", "thrift://XXX.XXX.net:9083") .config("spark.sql.sources.bucketing.enabled", true) .enableHiveSupport() .getOrCreate() val df = spark.read .format("parquet") .load("hdfs://XXX.XX.X.XX/myParquetFile") Ich bin speichern die df um eine

"Ungültiger name der Methode: 'ausführen'" Fehler mit Hive-Client in Java

Anzahl der Antworten 5 Antworten
Ich bin mit CDH-4.2.1-1.cdh4.2.1.p0.5 in einer cluster-set-up mit Cloudera Manager und ich werde versuchen, den Bienenstock Beispiel die Arbeit mit dem Hive-API in Java. Die hive version, die ich verwende, ist 0.10 (hive-hwi-0.10.0-cdh4.2.1.jar) und ich bin versucht,

Wie finde ich eine bestimmte Spalte name in alle Tabellen in Hive.?

Anzahl der Antworten 2 Antworten
Wie finde ich eine bestimmte Spalte name in alle Tabellen in Hive? Lief ich diese Abfrage in hive: select table_name,column_name from retail.columns where column_name like '%emp%'; (Einzelhandel ist eine Datenbank). Aber es ist was: Fehler FEHLGESCHLAGEN: SemanticException

wie funktioniert hive-Tabelle erstellen mit Parkett und bissig

Anzahl der Antworten 2 Antworten
Kenne ich die syntax für das erstellen einer Tabelle mit Parkett, aber ich möchte wissen, was bedeutet das für das erstellen von Tabellen mit Parkett-format und komprimiert, bissig und wie wir das tun ? bitte helfen Sie

Python-Verbindung zum Hive verwenden pyhs2-und Kerberos-Authentifizierung

Anzahl der Antworten 2 Antworten
Ich bin anschließen Hive verwenden pyhs2. Aber der Hive-server die Kerberos-Authentifizierung erforderlich. Weiß jemand, wie man konvertieren die JDBC-string zu pyhs2 parameter? Wie: jdbc:hive2://biclient2.server.163.org:10000/default;principal=hive/[email protected]?mapred.job.queue.name=default InformationsquelleAutor leeyiw | 2015-04-23

Hive mit mehreren Unterabfragen

Anzahl der Antworten 3 Antworten
Ich versuche zu laufen mehrere Unterabfragen in einer where-Klausel, und ich bekomme die Fehlermeldung unten. Bedeutet, dass das Hive unterstützt es nicht? Wenn nicht, ist es eine andere Art und Weise zu schreiben, die folgende Abfrage? Fehler

Presto unnest json

Anzahl der Antworten 3 Antworten
folgende Frage: wie cross join unnest ein json-array in presto Ich habe versucht zu laufen, das Beispiel aber Ich bekommen und Fehler dabei den SQL-Befehl: select x.n from unnest(cast(json_extract('{"payload":[{"type":"b","value":"9"}, {"type":"a","value":"8"}]}','$.payload') as array<varchar>)) as x(n) die Fehler, die

REGEXP_REPLACE erfassungsgruppen

Anzahl der Antworten 1 Antworten
Ich Frage mich, wenn jemand könnte mir helfen zu verstehen, wie mithilfe von Hive ist regexp_replace Funktion zum erfassen von Gruppen in der regex und verwenden Sie diese Gruppen in der Ersatz-Zeichenfolge. Habe ich ein Beispiel problem

Wie haben Sie die Gruppe ODER-Klausel in der WHERE-Anweisung mit HIVE

Anzahl der Antworten 3 Antworten
Ich würde gerne die Abfrage von den folgenden (statement1 AND statement2 AND (statement3 OR statement4 )) dies ist mein hive-Abfrage, die ich bestätigt, dass es nicht funktioniert, da es gibt nur anweisung3, und ich weiß, es gibt

Erstellen Von Hive-Metastore-Datenbank-Tabellen-Fehler

Anzahl der Antworten 2 Antworten
Ich bin durch den Cloudera Manager (free edition), und ich den Punkt erreicht, wo die Assistenten ist das erstellen der Hive-Metastore-Datenbank. Dieser Fehler wird angezeigt und Stoppt den Konfigurationsprozess. Verwendung von /var/run/cloudera-scm-agent/Prozess - /40-hive-metastore-erstellen-Tabellen/hadoop-conf als HADOOP_CONF_DIR Ich

Hive-Job failed with return code 1 von org.apache.hadoop.hive.ql.exec.tez.TezTask und Query-Performance

Anzahl der Antworten 2 Antworten
Jeden Tag habe ich einen hive-job, berechnen einige Aggregationen für jede Viertel Stunde für zwei Monate von Daten. Es resultieren bei der Einreichung etwas wie 5760 Arbeitsplätze zu Tez. Den job ist mit dem folgenden Fehler in

Hive-Tabelle-partition mit Spalte in der Mitte

Anzahl der Antworten 1 Antworten
Ich soll eine Tabelle erstellen, mit Partitionen aus vorhandenen Dateien auf Hadoop. Die datevalue auf die ich brauche, um partition ist verfügbar in den Dateien, aber die datevalue-Spalte position ist nicht die Letzte. Es ist in der

Warum hive nicht erlauben "create external table" mit CTAS?

Anzahl der Antworten 4 Antworten
Hive, "create external table" von CTAS ist ein semantischer Fehler, warum? Die Tabelle erstellt von CTAS ist atomar, während die externe Tabelle " Daten werden nicht gelöscht beim löschen der Tabelle, Sie scheinen nicht zu Konflikten. wahrscheinlich,

wie überspringen Papierkorb und wirft partition von Verwalteten Tabellen mit alter drop partition-Befehl

Anzahl der Antworten 4 Antworten
Gibt es eine Möglichkeit zum überspringen Sie den Papierkorb beim löschen einer partition mit dem folgenden Befehl auf einem Verwalteten Tabelle in Hive? ALTER TABLE <table> DROP PARITION (<partition_name>) Ähnlich zu dem, was wir tun, wenn Dateien

Wie können wir entscheiden, die insgesamt keine. der Eimer für eine hive-Tabelle

Anzahl der Antworten 4 Antworten
ich bin bisschen neu für hadoop. Wie pro meine Kenntnisse Eimer fixiert sind, nicht. Partitionen in hive-hive-Tabelle und nutzt die nicht. Reduzier gleiche wie die Summe nicht. der Eimer definiert beim erstellen der Tabelle. Also kann mir

Was ist der Unterschied zwischen Anweisung.setMaxRows vs-Anweisung.setFetchsize in Hive

Anzahl der Antworten 1 Antworten
Ich bin das ausführen von Abfragen gegen Hive. Die gleichen Abfragen funktionieren soll mit anderen JDBC-Treiber, was bedeutet, anderen relationalen Datenbanken. Kann ich nicht verwenden Sie die Methode Statement.setFetchSize, weil es nicht unterstützt in der Hive-JDBC-0.13.0. Ich

Sqoop-import : composite primary key und Text Primärschlüssel

Anzahl der Antworten 1 Antworten
Stack : Installiert HDP-2.3.2.0-2950 mit Ambari 2.1 Quell-DB-Schemas, die auf sql-server und enthält mehrere Tabellen, die entweder primary key als : Varchar Composite - zwei varchar-Spalten oder eine varchar - + eine int-Spalte oder zwei int-Spalten. Es

Wie funktioniert Hive-Sie entscheiden, Wann Karte reduzieren und Wann nicht?

Anzahl der Antworten 4 Antworten
Als einfaches Beispiel, select * from tablename; NICHT kickt in der Karte reduzieren, während select count(*) from tablename; TUT. Was ist das Allgemeine Prinzip verwendet, um zu entscheiden, Wann Karte reduzieren (von hive)? InformationsquelleAutor Lazer | 2011-09-19

Hive-query-Ergebnisse im vertikalen format wie MySQL ' s "\G"?

Anzahl der Antworten 2 Antworten
Gibt es einen Weg, um Hive-zur Ausgabe der Ergebnisse in ein säulenartiger-Mode, wie auch die "\G" die option verfügbar aus MySQL? http://dev.mysql.com/doc/refman//5.5/en/mysql-commands.html InformationsquelleAutor Idr | 2012-06-24

hive semantische Ausnahme beim einfügen der Daten

Anzahl der Antworten 2 Antworten
Erstellte ich eine hive-Tabelle mit ORC. Wenn ich für das einfügen von Daten aus der hive-Konsole funktioniert es perfekt.Aber Wenn ich das einfügen von Daten aus der Jdbc-code.Es wirft hive semantische Ausnahme. Fehler rg.apache.hive.service.cli.HiveSQLException: Fehler beim kompilieren