ausführen von Hive-Abfragen von Spark

Ich versuche, diesen code ausführen, werden in der Funke-shell:

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("show tables")

Nach der Ausführung der zweiten Zeile, ich bin immer eine Ausnahme:

java.lang.NoSuchMethodError:
org.apache.hadoop.hive.ql.- Treiber.getResults(Ljava/util/ArrayList;)Z
bei org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:305)
bei org.apache.spark.sql.hive.HiveContext.runSqlHive(HiveContext.scala:272)
bei org.apache.spark.sql.hive.Ausführung.NativeCommand.sideEffectResult$lzycompute(NativeCommand.scala:35)
bei org.apache.spark.sql.hive.Ausführung.NativeCommand.sideEffectResult(NativeCommand.scala:35)
bei org.apache.spark.sql.hive.Ausführung.NativeCommand.execute(NativeCommand.scala:38)
bei org.apache.spark.sql.hive.HiveContext$QueryExecution.toRdd$lzycompute(HiveContext.scala:360)
bei org.apache.spark.sql.hive.HiveContext$QueryExecution.toRdd(HiveContext.scala:360)
bei org.apache.spark.sql.SchemaRDDLike$Klasse.$init$(SchemaRDDLike.scala:58)
bei org.apache.spark.sql.SchemaRDD.(SchemaRDD.scala:103)
bei org.apache.spark.sql.hive.HiveContext.sql(HiveContext.scala:98)
bei $iwC$$iwC$$iwC$$iwC.(:14) ...

Bitte helfen Sie mir, dieses Problem beheben.

InformationsquelleAutor facha | 2015-01-07
  1. 1

    Haben Sie wahrscheinlich eine version des Hive-Bibliotheken, die nicht kompatibel mit Ihrem Funken-Bibliotheken. Funke rechnet mit der Funktion org.apache.hadoop.hive.ql.Driver.getResults(Ljava/util/ArrayList;) zu existieren, aber in deinem Hive-Bibliotheken, gibt es nicht.

    InformationsquelleAutor Mike Park
  2. 1

    Können Sie spark-sql.

    Zum ausführen von hive-Abfragen:

    spark-sql --master Garn --num-Testamentsvollstrecker 6 --executor-Gedächtnis 2G
    --executor-Kerne 1-Fahrer-memory-5G -e "select * from Datenbank.tablename;"

    Ausführen von hive-Skripts:

    spark-sql --master Garn --num-Testamentsvollstrecker 6 --executor-Gedächtnis 2G
    --executor-Kerne 1-Fahrer-memory-5G -f hivescript.hql

    Hinweis: Stellen Sie sicher, dass hive ist konfiguriert mit Funken-installation.

    InformationsquelleAutor Vinay Kumar Dudi
Schreibe einen Kommentar