Fehler: nicht gefunden: Wert, lit/Wann - spark-scala

Ich bin mit scala, spark, IntelliJ und maven.

Habe ich folgenden code : 

val joinCondition = when($"exp.fnal_expr_dt" >= $"exp.nonfnal_expr_dt",
$"exp.manr_cd"===$"score.MANR_CD")

val score = exprDF.as("exp").join(scoreDF.as("score"),joinCondition,"inner")

und

val score= list.withColumn("scr", lit(0))

Aber wenn Sie versuchen zu bauen mit maven, immer unter Fehler -

Fehler: nicht gefunden: - Wert, wenn

und

Fehler: nicht gefunden: Wert, lit

Für $ und === ich verwendet habe import sqlContext.implicits.StringToColumn und es funktioniert Prima. Keine Fehler in der Zeit von maven-build.Aber für lit(0) und when was ich brauche, um zu importieren, oder gibt es eine andere Möglichkeit das Problem zu beheben.

  • Sie importieren müssen org.apache.spark.sql.functions
  • Ich habe geantwortet Teil Ihrer Frage. Was ist der Typ der Liste ? ist es ein DataFrame ?
  • Beide sind Dataframe
  • Was ist der Spark-version verwenden Sie?
InformationsquelleAutor Avijit | 2016-09-20
  1. 16

    Betrachten wir den folgenden Zusammenhang :

    val spark : SparkSession = _ //or val sqlContext: SQLContext = new SQLContext(sc) for 1.x
val list: DataFrame = ???

    Verwenden when und lit müssen Sie importieren Sie die ordnungsgemäßen Funktionen :

    import org.apache.spark.sql.functions.{col, lit, when}

    Nun können Sie Sie wie folgt :

    list.select(when(col("column_name").isNotNull, lit(1)))

    Nun können Sie leuchtet auch in deinem code :

    val score = list.withColumn("scr", lit(0))
    • Gibt es eine alternative für die "import sqlContext.implicits.StringToColumn" im Fall des $ und ===
    InformationsquelleAutor eliasah
Schreibe einen Kommentar