Fügen Sie die Anzahl der Tage, die Spalte Datum Spalte im gleichen dataframe für Spark-Scala-App

Ich habe eine dataframe df von columns ("id", "current_date", "days") und ich bin versucht hinzuzufügen, die die "days" zu "current_date" und erstellen Sie eine neue dataframe mit neuen column genannt "new_date" mit spark-scala-Funktion date_add()

val newDF = df.withColumn("new_Date", date_add(df("current_date"), df("days").cast("Int")))

Aber sieht aus wie die Funktion date_add akzeptiert nur Int Werte und nicht columns. Wie kann die gewünschte Ausgabe erhalten in einem solchen Fall? Gibt es alternative Funktionen, die ich verwenden können, um die gewünschte Ausgabe erhalten?

spark version: 1.6.0
scala version: 2.10.6

InformationsquelleAutor bells | 2017-06-05
  1. 3

    Eine kleine benutzerdefinierte udf verwendet werden kann, um dieses Datum-Arithmetik möglich.

    import org.apache.spark.sql.functions.udf
import java.util.concurrent.TimeUnit
import java.util.Date
import java.text.SimpleDateFormat    

val date_add = udf((x: String, y: Int) => {
    val sdf = new SimpleDateFormat("yyyy-MM-dd")
    val result = new Date(sdf.parse(x).getTime() + TimeUnit.DAYS.toMillis(y))
  sdf.format(result)
} )

    Nutzung:

    scala> val df = Seq((1, "2017-01-01", 10), (2, "2017-01-01", 20)).toDF("id", "current_date", "days")
df: org.apache.spark.sql.DataFrame = [id: int, current_date: string, days: int]

scala> df.withColumn("new_Date", date_add($"current_date", $"days")).show()
+---+------------+----+----------+
| id|current_date|days|  new_Date|
+---+------------+----+----------+
|  1|  2017-01-01|  10|2017-01-11|
|  2|  2017-01-01|  20|2017-01-21|
+---+------------+----+----------+
    • Danke. Diese Lösung funktionierte perfekt für mich.
    InformationsquelleAutor rogue-one
  2. 12

    Keine Notwendigkeit, eine UDF, kann man es mit einem SQL-Ausdruck:

    val newDF = df.withColumn("new_date", expr("date_add(current_date,days)"))
    • Sie können sogar überspringen expr und direkt verwenden (in der Funke 2.1+) val newDF = df.withColumn("new_date", date_add($"current_date",days))
    • Ich habe nicht gefunden, einen Weg, um diese syntax (val newDF = df.withColumn("new_date", date_add($"current_date",days))) arbeiten. Heute, in der Spark-2.2, die einzigen Optionen die ich machen kann arbeiten eine UDF oder expr() (und ich bevorzuge das UDF). Siehe stackoverflow.com/questions/50222781/... für mehr info.
    • Vielen Dank für die Lösung, aber wenn ich versuche den code, den Sie oben genannten Spalte erzeugt, aber die Werte sind null. hier ist das Stück code. val dt3 = dt2.withColumn("new_date", expr("date_add('Week Start',dummy)")) könnten Sie mir bitte helfen mit diesem.
    InformationsquelleAutor Raphael Roth
Schreibe einen Kommentar