Tag: hive
Hive ist eine data-warehouse-system für Hadoop, das erleichtert das einfache Daten-Zusammenfassung, ad-hoc-Abfragen und die Analyse großer datasets gespeichert, die in Hadoop-kompatiblen file-Systeme. Hive bietet einen Mechanismus zur Projektstruktur auf diese Daten und die Abfrage der Daten mit Hilfe einer SQL-ähnlichen Sprache namens HiveQL.
2
Antworten
Ich versuche, diesen code ausführen, werden in der Funke-shell: val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.sql("show tables") Nach der Ausführung der zweiten Zeile, ich bin immer eine Ausnahme: java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.- Treiber.getResults(Ljava/util/ArrayList;)Z bei org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:305) bei org.apache.spark.sql.hive.HiveContext.runSqlHive(HiveContext.scala:272) bei org.apache.spark.sql.hive.Ausführung.NativeCommand.sideEffectResult$lzycompute(NativeCommand.scala:35) bei
1
Antworten
Habe ich Hive 0.13 installation und eigene Datenbanken. Ich habe spark 1.1.0 einzelnen Knoten cluster gebaut mit mvn -hive-option. Ich möchte den Zugriff auf Tabellen in dieser Datenbank, in der spark-Anwendung mit hivecontext. Aber hivecontext ist immer
1
Antworten
Habe ich konfiguriert Luftstrom erstellt und einige Dags und subDags, die rufen mehrere Operatoren. Mein Problem ist, dass, wenn ein Betreiber läuft und beendet den job, ich würde gerne die Ergebnisse wieder in einigen python-Struktur. Zum Beispiel:
1
Antworten
mit der folgenden Abfrage kann ich in der Lage, um die Transaktion genehmigt für pro-client auf pro Tag basis. select q1.client_id, q1.receive_day, count(q1.client_id) as cnt from (select * from sale where response=00) q1 group by q1.client_id, q1.receive_day
3
Antworten
Benutzt habe ich eine Möglichkeit zum speichern dataframe als externe Tabelle mit Parkett-Datei-format, aber gibt es eine andere Möglichkeit zu sparen dataframes direkt als externe Tabelle in hive-wie haben wir saveAsTable für verwaltete Tabelle InformationsquelleAutor sunil kumar
3
Antworten
Möchte ich zum erstellen einer HIVE-Tabelle wird gelesen Semikolon getrennte Werte, aber mein code gibt mir immer Fehler. Hat jemand irgendwelche Vorschläge? CREATE TABLE test_details(Time STRING, Vital STRING, sID STRING) PARTITIONED BY(Country STRING) ROW FORMAT DELIMITED FIELDS
1
Antworten
Wenn ich versuche, Kommentare hinzufügen zu meinen Hive-Tabelle, ALTER TABLE table1 SET TBLPROPERTIES ('comment' = new_comment); Bekomme ich die folgende Fehlermeldung: FAILED: ParseException line 1:64 mismatched input 'new_comment' expecting StringLiteral near '=' in specifying key/value property Jemand
1
Antworten
Wie kann ich einen MINUS-operator-Suchanfrage im Impala? Beispiel: Tabelle: Spiel Spalten: Official_start, halftime_start Will ich senden Sie eine Abfrage, in der halftime_start - official_start und speichern Sie es als firsttimeplayed Ich weiß, dass MINUS nicht vorhanden Impala
2
Antworten
Ich versuche zu konvertieren, leere Werte in der Quell-Datei auf NULL in der hive-Tabelle durch das setzen der Eigenschaft 'serialization.null.format' = '' . Die Abfrage die ich geschrieben habe, in hive ist: create table test(a int, b
4
Antworten
Bitte helfen Sie mir, wie Sie Metadaten von hive-Tabellen, Spalten, Ansichten, Einschränkung Tasten und Kommentar-Spalten. Die ich gefunden habe, einfache Abfragen, wie " desc Tabellenname;zeigt databses. Aber ich muss mit Tabellen und Spalten ,Ansichten zu bekommen metedata.
1
Antworten
GELÖST: Siehe Update #2 unten für die 'Lösung' dieses Problems. ~~~~~~~ In s3 habe ich einige log*.gz-Dateien gespeichert, die in einer verschachtelten Verzeichnisstruktur wie: s3://($BUCKET)/y=2012/m=11/d=09/H=10/ Ich bin versucht zu laden, diese in die Hive auf " Elastic
1
Antworten
Wie kann ich effizient speichern von Daten in Hive und auch das speichern und abrufen der komprimierten Daten in hive? Derzeit bin ich der Speicherung als Textdatei. Ich wurde durch Bejoy Artikel und ich fand, dass die
2
Antworten
Habe ich eine Hive-Tabelle, die erstellt wurde durch den Beitritt von Daten aus mehreren Tabellen. Die Daten für diese befindet sich in einem Ordner, die mehrere Dateien ("0001_1" , "0001_2", ... und so weiter). Ich muss eine
2
Antworten
Ich versuche, die Gruppe Daten von Minuten, also versuchte ich diese Abfrage: SELECT FROM_UNIXTIME( unix_timestamp (time, 'yyyy-mm-dd hh:mm:ss'), 'yyyy-mm-dd hh:mm') as ts, count (*) as cnt from toucher group by ts limit 10; Dann Bienenkorb sagt mir
4
Antworten
Ich versuche zu übersetzen, einige PL/SQL-Skript im hive, und ich Stand vor einem Fehler eines HiveQL-Skript. Der Fehler ist dieser : FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depend
2
Antworten
select user_id, prod_and_ts.product_id as product_id, prod_and_ts.timestamps as timestamps from testingtable2 LATERAL VIEW explode(purchased_item) exploded_table as prod_and_ts; Mithilfe der obigen Abfrage, erhalte ich die unten Ausgabe. USER_ID | PRODUCT_ID | TIMESTAMPS ------------+------------------+------------- 1015826235 220003038067 1004841621 1015826235 300003861266 1005268799
3
Antworten
Gibt es eine Möglichkeit zum berechnen der Monate zwischen zwei Datumsangaben basierend auf dem Monat und Jahr zB 2016-01-01 2017-01-22 Brauche ich 12 zurückgegeben werden, im integer-format in den Bienenstock. InformationsquelleAutor user2672739 | 2017-01-04
2
Antworten
Beim anlegen einer externen Tabelle in Hive (Hadoop) mit einem Amazon S3 Quelle Lage ist, die Daten übertragen auf die lokalen Hadoop HDFS auf: externe Erstellung der Tabelle wenn bogenlagen (HERR jobs) ausgeführt werden, die auf die
1
Antworten
Habe ich einige Daten, die ich will für die Gruppierung nach mehreren Spalten, führen Sie eine Aggregatfunktion auf, und dann transponieren in verschiedene Spalten mit Hive. Beispielsweise angesichts dieser Eingang Eingang: hr type value 01 a 10
2
Antworten
Konfigurierte ich unixodbc zu verwenden, die hive-Anschluss von cloudera, auf meinem Linux Mint Maschine, aber ich bekomme immer wieder die folgende Fehlermeldung beim Versuch, eine Verbindung zu hive (z.B. mit isql -v hive) S1000][unixODBC][Cloudera][ODBC] (11560) Unable to
5
Antworten
Ich bin auf der Suche nach SCD1 und SCD2 Umsetzung in Struktur (1.2.1). Ich bin mir bewusst, Abhilfe zu laden, SCD1 und SCD2 Tabellen vor zu Hive (0.14). Hier ist der link für das laden von SCD1
1
Antworten
Ich würde gerne verwenden Sie hiveql UDF, um zu überprüfen, ob die Zeichenfolge enthält, die spezifischen Charakter haben oder nicht? Stieß ich auf die unten einer. find_in_set(str, strlist) Ist dies die richtige UDF zu verwenden? Zum Beispiel:
2
Antworten
nach der Konfiguration von hadoop Ich konnte laufen hdfs dann installieren hive und Bearbeiten der conf-Datei, um es auf tez standardmäßig aber das laufen in einige spezielle Problem bei der Verwendung von hive direkt: hive Exception in
2
Antworten
Wie muss ich Hive drucken Sie schön formatierte Ergebnisse, die mit den Spaltennamen und angenehm Platz, wie mysql? Zum Beispiel: $ hive -f performanceStatistics.hql ... Kill Command = /usr/lib/hadoop/bin/hadoop job -kill job_201306211023_1053 Hadoop job information for Stage-1:
2
Antworten
Laut diese und sonstige Verweise Schwein ist besser als Hive verarbeiten von unstrukturierten Daten. So, die Daten zuerst gereinigt mit Schwein und dann verarbeitet mit Bienenkorb. Aber, in der data factory, können keine Daten werden in einem
2
Antworten
Wie kann ich erreichen die gleiche Funktionalität wie SQL "offset" im Bienenkorb? SELECT * from table LIMIT 20 OFFSET 30 Dank! Dies ist die gleiche Funktionalität wie limit 20, 30 im MySQL. stackoverflow.com/questions/11750312/... InformationsquelleAutor Jieren | 2013-10-02
1
Antworten
Ich versuche zum einfügen von Daten in eine Tabelle in Hive, die ich erstellt. Ich habe gekämpft, so bin ich versucht, um es zu vereinfachen, so viel wie möglich zu erhalten, um die Wurzel des Problems. Hier
1
Antworten
Ich versuche erstellen Sie eine Tabelle mit dem Namen errtable aus einer anderen Tabelle errcode mit einer extra-Spalte. Die errcode Tabelle hat das folgende schema : id-STRING, msg-STRING Den errtable hat eine extra Spalte, die app_name STRING
2
Antworten
Was ist die Standard-join mit MapReduce-Algorithmus implementiert, durch den Bienenstock? Wird es ein Map-Side-Join, Verringern Sie-Seite, Broadcast-Join, etc.? Ist es nicht angegeben, in der original-Papier noch den Hive-wiki auf joins: http://cs.brown.edu/courses/cs227/papers/hive.pdf https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Tritt Die Hive version? Unter welcher
1
Antworten
Ich versuche, mit collect_set in einer hive-Abfrage zum gruppieren der Spalten auf einer group by-Bedingung. Jede Zeile wird mit Leerzeichen als Trennzeichen anstelle von ',' oder so etwas. So ändern Sie das Trennzeichen auf ',' oder andere
3
Antworten
Kontext Funke 2.0.1, Funke-Abgabe im cluster-Modus. Ich lese ein Parkett-Datei aus dem hdfs: val spark = SparkSession.builder .appName("myApp") .config("hive.metastore.uris", "thrift://XXX.XXX.net:9083") .config("spark.sql.sources.bucketing.enabled", true) .enableHiveSupport() .getOrCreate() val df = spark.read .format("parquet") .load("hdfs://XXX.XX.X.XX/myParquetFile") Ich bin speichern die df um eine
5
Antworten
Ich bin mit CDH-4.2.1-1.cdh4.2.1.p0.5 in einer cluster-set-up mit Cloudera Manager und ich werde versuchen, den Bienenstock Beispiel die Arbeit mit dem Hive-API in Java. Die hive version, die ich verwende, ist 0.10 (hive-hwi-0.10.0-cdh4.2.1.jar) und ich bin versucht,
2
Antworten
Wie finde ich eine bestimmte Spalte name in alle Tabellen in Hive? Lief ich diese Abfrage in hive: select table_name,column_name from retail.columns where column_name like '%emp%'; (Einzelhandel ist eine Datenbank). Aber es ist was: Fehler FEHLGESCHLAGEN: SemanticException
2
Antworten
Kenne ich die syntax für das erstellen einer Tabelle mit Parkett, aber ich möchte wissen, was bedeutet das für das erstellen von Tabellen mit Parkett-format und komprimiert, bissig und wie wir das tun ? bitte helfen Sie
2
Antworten
Ich bin anschließen Hive verwenden pyhs2. Aber der Hive-server die Kerberos-Authentifizierung erforderlich. Weiß jemand, wie man konvertieren die JDBC-string zu pyhs2 parameter? Wie: jdbc:hive2://biclient2.server.163.org:10000/default;principal=hive/
[email protected]?mapred.job.queue.name=default InformationsquelleAutor leeyiw | 2015-04-23
3
Antworten
Ich versuche zu laufen mehrere Unterabfragen in einer where-Klausel, und ich bekomme die Fehlermeldung unten. Bedeutet, dass das Hive unterstützt es nicht? Wenn nicht, ist es eine andere Art und Weise zu schreiben, die folgende Abfrage? Fehler
3
Antworten
folgende Frage: wie cross join unnest ein json-array in presto Ich habe versucht zu laufen, das Beispiel aber Ich bekommen und Fehler dabei den SQL-Befehl: select x.n from unnest(cast(json_extract('{"payload":[{"type":"b","value":"9"}, {"type":"a","value":"8"}]}','$.payload') as array<varchar>)) as x(n) die Fehler, die
1
Antworten
Ich Frage mich, wenn jemand könnte mir helfen zu verstehen, wie mithilfe von Hive ist regexp_replace Funktion zum erfassen von Gruppen in der regex und verwenden Sie diese Gruppen in der Ersatz-Zeichenfolge. Habe ich ein Beispiel problem
3
Antworten
Ich würde gerne die Abfrage von den folgenden (statement1 AND statement2 AND (statement3 OR statement4 )) dies ist mein hive-Abfrage, die ich bestätigt, dass es nicht funktioniert, da es gibt nur anweisung3, und ich weiß, es gibt
2
Antworten
Ich bin durch den Cloudera Manager (free edition), und ich den Punkt erreicht, wo die Assistenten ist das erstellen der Hive-Metastore-Datenbank. Dieser Fehler wird angezeigt und Stoppt den Konfigurationsprozess. Verwendung von /var/run/cloudera-scm-agent/Prozess - /40-hive-metastore-erstellen-Tabellen/hadoop-conf als HADOOP_CONF_DIR Ich
2
Antworten
Jeden Tag habe ich einen hive-job, berechnen einige Aggregationen für jede Viertel Stunde für zwei Monate von Daten. Es resultieren bei der Einreichung etwas wie 5760 Arbeitsplätze zu Tez. Den job ist mit dem folgenden Fehler in
1
Antworten
Ich soll eine Tabelle erstellen, mit Partitionen aus vorhandenen Dateien auf Hadoop. Die datevalue auf die ich brauche, um partition ist verfügbar in den Dateien, aber die datevalue-Spalte position ist nicht die Letzte. Es ist in der
4
Antworten
Hive, "create external table" von CTAS ist ein semantischer Fehler, warum? Die Tabelle erstellt von CTAS ist atomar, während die externe Tabelle " Daten werden nicht gelöscht beim löschen der Tabelle, Sie scheinen nicht zu Konflikten. wahrscheinlich,
4
Antworten
Gibt es eine Möglichkeit zum überspringen Sie den Papierkorb beim löschen einer partition mit dem folgenden Befehl auf einem Verwalteten Tabelle in Hive? ALTER TABLE <table> DROP PARITION (<partition_name>) Ähnlich zu dem, was wir tun, wenn Dateien
4
Antworten
ich bin bisschen neu für hadoop. Wie pro meine Kenntnisse Eimer fixiert sind, nicht. Partitionen in hive-hive-Tabelle und nutzt die nicht. Reduzier gleiche wie die Summe nicht. der Eimer definiert beim erstellen der Tabelle. Also kann mir
1
Antworten
Ich bin das ausführen von Abfragen gegen Hive. Die gleichen Abfragen funktionieren soll mit anderen JDBC-Treiber, was bedeutet, anderen relationalen Datenbanken. Kann ich nicht verwenden Sie die Methode Statement.setFetchSize, weil es nicht unterstützt in der Hive-JDBC-0.13.0. Ich
1
Antworten
Stack : Installiert HDP-2.3.2.0-2950 mit Ambari 2.1 Quell-DB-Schemas, die auf sql-server und enthält mehrere Tabellen, die entweder primary key als : Varchar Composite - zwei varchar-Spalten oder eine varchar - + eine int-Spalte oder zwei int-Spalten. Es
4
Antworten
Als einfaches Beispiel, select * from tablename; NICHT kickt in der Karte reduzieren, während select count(*) from tablename; TUT. Was ist das Allgemeine Prinzip verwendet, um zu entscheiden, Wann Karte reduzieren (von hive)? InformationsquelleAutor Lazer | 2011-09-19
2
Antworten
Gibt es einen Weg, um Hive-zur Ausgabe der Ergebnisse in ein säulenartiger-Mode, wie auch die "\G" die option verfügbar aus MySQL? http://dev.mysql.com/doc/refman//5.5/en/mysql-commands.html InformationsquelleAutor Idr | 2012-06-24
2
Antworten
Erstellte ich eine hive-Tabelle mit ORC. Wenn ich für das einfügen von Daten aus der hive-Konsole funktioniert es perfekt.Aber Wenn ich das einfügen von Daten aus der Jdbc-code.Es wirft hive semantische Ausnahme. Fehler rg.apache.hive.service.cli.HiveSQLException: Fehler beim kompilieren