Holen Sie sich JavaSparkContext von einem SparkSession

Im bin mit einem SparkSession mein spark Anwendung, weil ich eine Menge von Funken-sql-Funktionen. Ich möchte die JavaSparkContexterstellen Sie eine RDD-aus einer Liste. Aber über die Session kann ich nur bekommen ein gewöhnlichen SparkContext. Gibt es eine Möglichkeit, den Kontext zu transformieren in diese Richtung?

InformationsquelleAutor moe | 2017-03-03
  1. 27

    Nach der Bestimmung der SparkContext, den Sie verwenden könnten:

    SparkContext sc = ...
JavaSparkContext jsc = JavaSparkContext.fromSparkContext(sc);

    Diese Rückkehr wird Sie die neue Instanz von JavaSparkContext, aber es ist kein problem, solange Sie halten nur eine aktive Instanz des SparkContext.

    InformationsquelleAutor Serhiy
  2. 8

    Yep, die Sie tun können, die mit der Funken-Sitzung wie diese: 

       val spark = SparkSession.builder()
         .config(sparkConf)
         .getOrCreate()

    val jsc = new JavaSparkContext(spark.sparkContext)

    oder in java wäre es:

    SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
    InformationsquelleAutor Derek_M
Schreibe einen Kommentar