Filter nach, ob die Spalte Wert eine Liste, in der Funke

Ich versuche zu filtern, einen Funken dataframe, ob die Werte in einer Spalte gleich eine Liste. Ich würde gerne etwas wie das hier tun:

filtered_df = df.where(df.a == ['list','of' , 'stuff'])

Wo filtered_df nur die Zeilen enthält, wo der Wert der filtered_df.a ist ['list','of' , 'stuff'] und die Art der a ist array (nullable = true).

InformationsquelleAutor Luke | 2016-03-24

  1. 7

    Update:

    Mit aktuellen Versionen, die Sie verwenden können, eine array von literalen:

    from pyspark.sql.functions import array, lit

df.where(df.a == array(*[lit(x) for x in ['list','of' , 'stuff']]))

    Ursprüngliche Antwort:

    Na ja, ein bisschen hacky Weg, es zu tun, die nicht erfordern eine Python batch-job, so etwas wie dieses:

    from pyspark.sql.functions import col, lit, size
from functools import reduce
from operator import and_

def array_equal(c, an_array):
    same_size = size(c) == len(an_array)  # Check if the same size
    # Check if all items equal
    same_items = reduce(
        and_, 
        (c.getItem(i) == an_array[i] for i in range(len(an_array)))
    )
    return and_(same_size, same_items)

    Quick-test:

    df = sc.parallelize([
    (1, ['list','of' , 'stuff']),
    (2, ['foo', 'bar']),
    (3, ['foobar']),
    (4, ['list','of' , 'stuff', 'and', 'foo']),
    (5, ['a', 'list','of' , 'stuff']),
]).toDF(['id', 'a'])

df.where(array_equal(col('a'), ['list','of' , 'stuff'])).show()
## +---+-----------------+
## | id|                a|
## +---+-----------------+
## |  1|[list, of, stuff]|
## +---+-----------------+
    Was bedeutet "aktuelle Version" finden?

    InformationsquelleAutor zero323

  2. 8

    Könnten Sie eine udf-Datei. Zum Beispiel:

    def test_in(x):
    return x == ['list','of' , 'stuff']

from pyspark.sql.functions import udf
f = udf(test_in, pyspark.sql.types.BooleanType())
filtered_df = df.where(f(df.a))
    Ist ein bisschen zu langsam aber?

    InformationsquelleAutor Assaf Mendelson

Schreibe einen Kommentar