verwenden Sie die Länge-Funktion substring in spark

Ich versuche, verwenden Sie die Länge-Funktion innerhalb einer Funktion substring in einem DataFrame
aber es gibt Fehler

val substrDF = testDF.withColumn("newcol", substring($"col", 1, length($"col")-1))

unten ist der Fehler

 error: type mismatch;
 found   : org.apache.spark.sql.Column
 required: Int

Ich bin mit 2.1.

InformationsquelleAutor satish | 2017-09-21

  1. 16

    Funktion "expr" kann verwendet werden:

    val data = List("first", "second", "third")
val df = sparkContext.parallelize(data).toDF("value")
val result = df.withColumn("cutted", expr("substring(value, 1, length(value)-1)"))
result.show(false)

    Ausgabe:

    +------+------+
|value |cutted|
+------+------+
|first |firs  |
|second|secon |
|third |thir  |
+------+------+

    InformationsquelleAutor pasha701

  2. 8

    Konnte man auch mit $"SPALTE".substr

    val substrDF = testDF.withColumn("newcol", $"col".substr(lit(1), length($"col")-1))

    Ausgabe:

    val testDF = sc.parallelize(List("first", "second", "third")).toDF("col")
val result = testDF.withColumn("newcol", $"col".substr(org.apache.spark.sql.functions.lit(1), length($"col")-1))
result.show(false)
+------+------+
|col   |newcol|
+------+------+
|first |firs  |
|second|secon |
|third |thir  |
+------+------+

    InformationsquelleAutor shabbir hussain

  3. 1

    Erhalten Sie diesen Fehler, weil Sie die Unterschrift des substring ist

    def substring(str: Column, pos: Int, len: Int): Column

    Den len argument, dass Sie auf der Durchreise sind, ist eine Column, und sollte ein Int.

    Können Sie möglicherweise möchten, implementieren Sie eine einfache UDF um dieses problem zu lösen.

    val strTail = udf((str: String) => str.substring(1))
testDF.withColumn("newCol", strTail($"col"))

    InformationsquelleAutor elghoto

  4. 1

    Wenn alle Sie wollen, ist zu entfernen Sie die letzten Zeichen der Zeichenfolge, die Sie tun können, ohne UDF-als auch. Durch die Verwendung regexp_replace :

    testDF.show
+---+----+
| id|name|
+---+----+
|  1|abcd|
|  2|qazx|
+---+----+

testDF.withColumn("newcol", regexp_replace($"name", ".$" , "") ).show
+---+----+------+
| id|name|newcol|
+---+----+------+
|  1|abcd|   abc|
|  2|qazx|   qaz|
+---+----+------+

    InformationsquelleAutor philantrovert

Schreibe einen Kommentar