Trim-string-Spalte in PySpark dataframe

Ich bin Anfänger auf Python und Funken. Nach dem erstellen eines DataFrame aus CSV Datei, ich würde gerne wissen, wie ich trimmen kann eine Spalte. Ich habe versucht:

df = df.withColumn("Product", df.Product.strip())

df ist meine Daten-frame, Product ist eine Spalte in meiner Tabelle

Aber ich sehe immer den Fehler:

Column object is not callable

Haben Sie irgendwelche Vorschläge?

Hat die Lösung funktioniert???

InformationsquelleAutor minh-hieu.pham | 2016-02-02

  1. 12

    Ab version 1.5, Spark SQL bietet zwei spezielle Funktionen für das trimmen von Leerzeichen, ltrim und rtrim (Suche nach "trimmen" in der DataFrame Dokumentation); Sie werden importieren müssen pyspark.sql.functions ersten. Hier ist ein Beispiel:

     from pyspark.sql import SQLContext
 from pyspark.sql.functions import *
 sqlContext = SQLContext(sc)

 df = sqlContext.createDataFrame([(' 2015-04-08 ',' 2015-05-10 ')], ['d1', 'd2']) # create a dataframe - notice the extra whitespaces in the date strings
 df.collect()
 # [Row(d1=u' 2015-04-08 ', d2=u' 2015-05-10 ')]
 df = df.withColumn('d1', ltrim(df.d1)) # trim left whitespace from column d1
 df.collect()
 # [Row(d1=u'2015-04-08 ', d2=u' 2015-05-10 ')]
 df = df.withColumn('d1', rtrim(df.d1))  # trim right whitespace from d1
 df.collect()
 # [Row(d1=u'2015-04-08', d2=u' 2015-05-10 ')]
    Leider Funken die trim() Funktion nicht, trim white space, sondern nur Leerzeichen. Dieses Verhalten wurde geändert, mit issues.apache.org/jira/browse/SPARK-17299 . Auch trim white space " wie "\t, \n," etc. braucht man einen regulären Ausdruck.

    InformationsquelleAutor desertnaut

  2. 8

    Den pyspark version des strip-Funktion namens trim.
    Trim wird "trim die Leerzeichen von beiden enden nach der angegebenen Zeichenkette Spalte".
    Stellen Sie sicher, um importieren Sie die Funktion zuerst zu setzen und die Spalte, die Sie trimmen sind innerhalb Ihrer Funktion.

    Sollten die folgenden arbeiten:

    from pyspark.sql.functions import trim
df = df.withColumn("Product", trim(df.Product))

    InformationsquelleAutor jdhaen

  3. 6
    from pyspark.sql.functions import trim

df = df.withColumn("Product", trim(col("Product")))

    InformationsquelleAutor novice

  4. 5

    Hab ich das mit der udf wie diese:

    from pyspark.sql.functions import udf

def trim(string):
    return string.strip()
trim=udf(trim)

df = sqlContext.createDataFrame([(' 2015-04-08 ',' 2015-05-10 ')], ['d1', 'd2'])

df2 = df.select(trim(df['d1']).alias('d1'),trim(df['d2']).alias('d2'))

    Ausgabe sieht wie folgt aus:

    df.show()
df2.show()
+------------+------------+
|          d1|          d2|
+------------+------------+
| 2015-04-08 | 2015-05-10 |
+------------+------------+

+----------+----------+
|        d1|        d2|
+----------+----------+
|2015-04-08|2015-05-10|
+----------+----------+

    InformationsquelleAutor Babu

Schreibe einen Kommentar