Fall, wenn-statement mit IN-Klausel in Pyspark

Ich bin neu zu entfachen, Programmierung und haben ein Szenario, um einen Wert zuweisen, wenn eine Reihe von Werten angezeigt, die in meinem Eingang. Unten ist eine tradition, die SQL-code, den ich verwenden würde, um die Aufgabe abzuschließen. Tun müssen die gleichen Zündkerzen.

Sql-Code: 

SELECT CASE WHEN c.Number IN ( '1121231', '31242323' ) THEN 1 
ELSE 2 END AS Test
FROM   Input  c

Ich bin mir bewusst, mit when Zündkerzen mit nur einem Zustand.

Input.select(when(Input.Number==1121231,1).otherwise(2).alias("Test")).show()
InformationsquelleAutor Sid | 2016-04-26
  1. 6

    Ich nehme an, Sie arbeiten mit Spark DataFrames, nicht RDDs. Eine Sache zu beachten ist, dass Sie können ausführen von SQL-Abfragen direkt auf einen DataFrame:

    # register the DataFrame so we can refer to it in queries
sqlContext.registerDataFrameAsTable(df, "df")

# put your SQL query in a string
query = """SELECT CASE WHEN 
    df.number IN ('1121231', '31242323') THEN 1 ELSE 2 END AS test 
    FROM df"""

result = sqlContext.sql(query)
result.show()

    Können Sie auch select durch die Schaffung einer Benutzer-definierte Funktion, die imitiert Ihre Abfrage ist case-Anweisung:

    from pyspark.sql.types import *
from pyspark.sql.functions import udf

# need to pass inner function through udf() so it can operate on Columns
# also need to specify return type
column_in_list = udf(
    lambda column: 1 if column in ['1121231', '31242323'] else 2, 
    IntegerType()
)

# call function on column, name resulting column "transformed"
result = df.select(column_in_list(df.number).alias("transformed"))
result.show()
    • Vielen Dank für Ihre Antwort. Es arbeitete. Gibt es eine Möglichkeit, die wir verwenden können die wenn-Funktion direkt auf der Funke dataframe und geben Sie eine Liste von Werten?
    • Ich glaube, ich fand, was ich tun wollte. df.wenn(df).char.isin('H','O','M'),1).andernfalls(0)
    • Das funktioniert auch. Sie können auch extrahieren Sie die Liste der Werte aus der Spalte durch die Umwandlung der DataFrame in eine rdd und sammeln, wie diese: rdd = df.rdd; rdd.map(lambda x: x.transform).collect().
    InformationsquelleAutor Galen Long
Schreibe einen Kommentar