wie man eine Dataframe-Spalte von String-Typ zu Double-Typ in pyspark ändert

Ich habe einen dataframe mit der Spalte als Zeichenkette.
Ich wollte ändern Sie den Spalte-Typ Double-Typ in pyspark.

Folgenden ist die Art und Weise habe ich,-

toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType())
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show']))

Wollte nur wissen , ist das der richtige Weg, es zu tun, als beim laufen
durch Logistische Regression , bin ich immer einige Fehler, so Frage ich mich ,
ist dies der Grund für die Probleme.

InformationsquelleAutor der Frage Abhishek Choudhary | 2015-08-29

  1. 60

    Gibt es keine Notwendigkeit für eine UDF hier. Column bietet bereits cast Methode mit DataType Beispiel:

    from pyspark.sql.types import DoubleType

changedTypedf = joindf.withColumn("label", joindf["show"].cast(DoubleType()))

    oder kurz string:

    changedTypedf = joindf.withColumn("label", joindf["show"].cast("double"))

    InformationsquelleAutor der Antwort zero323

  2. 27

    Erhalten den Namen der Spalte und keine extra Spalte neben der durch die Verwendung der gleichen Namen wie die Eingabe-Spalte:

    changedTypedf = joindf.withColumn("show", joindf["show"].cast(DoubleType()))

    InformationsquelleAutor der Antwort Disha

  3. 1

    die Lösung war einfach -

    toDoublefunc = UserDefinedFunction(lambda x: float(x),DoubleType())
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show']))

    InformationsquelleAutor der Antwort Abhishek Choudhary

  4. 1

    Gegebenen Antworten sind genug, um mit dem problem umzugehen, aber ich möchte einen anderen Weg, der vielleicht mal die neue version von Spark (ich bin mir nicht sicher) so gegebenen Antwort nicht fangen.

    Erreichen, können wir die Spalte, in der spark-Anweisung mit col("colum_name") Stichwort:

    from pyspark.sql.functions import col , column
changedTypedf = joindf.withColumn("show", col("show").cast("double"))

    InformationsquelleAutor der Antwort serkan kucukbay

Schreibe einen Kommentar