PySpark: mehrere Bedingungen in der wenn-Klausel

Möchte ich ändern Sie die Werte von Zellen eines dataframe Spalte (Alter), wo es derzeit ist leer und ich würde es nur tun, wenn eine andere Spalte (Überlebt) hat den Wert 0 für die entsprechende Zeile, wo es leer ist für das Alter. Wenn es 1 ist in das Überlebt Spalte aber leer, in der Spalte " Age " dann halte ich es als null.

Habe ich versucht zu verwenden && Betreiber, aber es hat nicht funktioniert. Hier ist mein code:

tdata.withColumn("Age",  when((tdata.Age == "" && tdata.Survived == "0"), mean_age_0).otherwise(tdata.Age)).show()

Irgendwelche Vorschläge, wie damit umzugehen ist? Danke.

Fehlermeldung:

SyntaxError: invalid syntax
  File "<ipython-input-33-3e691784411c>", line 1
    tdata.withColumn("Age",  when((tdata.Age == "" && tdata.Survived == "0"), mean_age_0).otherwise(tdata.Age)).show()
                                                    ^

InformationsquelleAutor sjishan | 2016-06-08

75

Erhalten Sie SyntaxError error-Ausnahme ausgelöst, weil Python hat keine && Betreiber. Es hat and und & wo die letztere ist die richtige Wahl zu erstellen Boolesche Ausdrücke auf Column (| für eine logische Disjunktion und ~ für logische negation).

Bedingung, die Sie erstellt haben, ist ebenfalls ungültig, weil Sie nicht der Auffassung,operator-Rangfolge. & in Python hat eine höhere Priorität als == also Ausdruck muss in Klammern.
```
(col("Age") == "") & (col("Survived") == "0")
## Column<b'((Age = ) AND (Survived = 0))'>
```
On a side note when Funktion ist äquivalent zu case Ausdruck nicht WHEN - Klausel. Immer noch die gleichen Regeln gelten. Verbindung:
```
df.where((col("foo") > 0) & (col("bar") < 0))
```
Disjunktion:
```
df.where((col("foo") > 0) | (col("bar") < 0))
```
Natürlich können Sie Bedingungen definieren, die GESONDERT zu vermeiden Klammern:
```
cond1 = col("Age") == "" 
cond2 = col("Survived") == "0"

cond1 & cond2
```
- Vielen Dank für den Kommentar über die Rangfolge, es löste mein Problem mit dem bekommen Sie einen Datumsbereich
InformationsquelleAutor zero323

sollte es funktioniert zumindest in pyspark 2.4

tdata = tdata.withColumn("Age",  when((tdata.Age == "") & (tdata.Survived == "0") , "NewValue").otherwise(tdata.Age))

InformationsquelleAutor Jose Alberto Gonzalez

wenn in pyspark mehrere Bedingungen können mit &(für und) und | (für oder).

Hinweis:In pyspark t ist wichtig, um zu schließen alle Ausdrücke innerhalb von Klammern (), die kombinieren, um die Bedingung

%pyspark
dataDF = spark.createDataFrame([(66, "a", "4"), 
                                (67, "a", "0"), 
                                (70, "b", "4"), 
                                (71, "d", "4")],
                                ("id", "code", "amt"))
dataDF.withColumn("new_column",
       when((col("code") == "a") | (col("code") == "d"), "A")
      .when((col("code") == "b") & (col("amt") == "4"), "B")
      .otherwise("A1")).show()

Zündkerzen Scala-code (&&) oder (||) Bedingungen können verwendet werden, innerhalb wenn Funktion

//scala
val dataDF = Seq(
      (66, "a", "4"), (67, "a", "0"), (70, "b", "4"), (71, "d", "4"
      )).toDF("id", "code", "amt")
dataDF.withColumn("new_column",
       when(col("code") === "a" || col("code") === "d", "A")
      .when(col("code") === "b" && col("amt") === "4", "B")
      .otherwise("A1")).show()

=======================

Output:
+---+----+---+----------+
| id|code|amt|new_column|
+---+----+---+----------+
| 66|   a|  4|         A|
| 67|   a|  0|         A|
| 70|   b|  4|         B|
| 71|   d|  4|         A|
+---+----+---+----------+

Dieser code-Schnippsel kopiert von sparkbyexamples.com

InformationsquelleAutor vj sreenivasan

-1

Sollte es sein:

$when(((tdata.Age == "" ) & (tdata.Survived == "0")), mean_age_0)

InformationsquelleAutor mahatmawx

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.