Wie erstellen SQLContext Zündkerzen Einsatz von scala?

Erstelle ich ein Scala-Programm SQLContext mit sbt. Das ist mein build.sbt: 

name := "sampleScalaProject"

version := "1.0"

scalaVersion := "2.11.7"
//libraryDependencies += "org.apache.spark" %% "spark-core" % "2.5.2"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.5.2"
libraryDependencies += "org.apache.kafka" % "kafka_2.11" % "0.8.2.2"
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "1.5.2"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "1.5.2"
libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.6.0"

Und das ist test-Programm: 

import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext

object SqlContextSparkScala {

  def main (args: Array[String]) {
    val sc = SparkContext
    val sqlcontext = new SQLContext(sc)
  }
}

Erhalte ich folgende Fehlermeldung: 

Error:(8, 26) overloaded method constructor SQLContext with alternatives:
  (sparkContext: org.apache.spark.api.java.JavaSparkContext)org.apache.spark.sql.SQLContext <and>
  (sparkContext: org.apache.spark.SparkContext)org.apache.spark.sql.SQLContext
 cannot be applied to (org.apache.spark.SparkContext.type)
    val sqlcontexttest = new SQLContext(sc)

Kann jemand bitte lassen Sie mich wissen, die Frage ich bin sehr neu in scala und Funke Programmieren?

InformationsquelleAutor Aman | 2015-12-21
  1. 4

    Müssen Sie new Ihre SparkContext und das sollte es lösen

    InformationsquelleAutor Justin Pihony
  2. 2

    Einfach wir erstellen SQLContext in scala

    scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc);
    InformationsquelleAutor Viraj.Hadoop
  3. 2

    Für neuere Versionen von Spark (2.0+), verwenden Sie SparkSession:

    val spark = new SparkSession.builder.getOrCreate()

    SparkSession können alles tun, was SQLContext tun können, aber wenn nötig, die SQLContext können wie folgt abgerufen werden,

    val sqlContext = spark.sqlContext
    InformationsquelleAutor Shaido
  4. -1
    val conf = new SparkConf().setAppName("SparkJoins").setMaster("local")
val sc = new SparkContext(conf);
val sqlContext = new org.apache.spark.sql.SQLContext(sc);
    InformationsquelleAutor ashu17188
Schreibe einen Kommentar