Funkenverbindung mehrerer RDDs

In mein Schwein code, mit dem ich dies tun:

all_combined = Union relation1, relation2, 
    relation3, relation4, relation5, relation 6.

Möchte ich das gleiche tun mit spark. Jedoch, leider, ich sehe, dass ich zu tun zu halten Sie paarweise:

first = rdd1.union(rdd2)
second = first.union(rdd3)
third = second.union(rdd4)
# .... and so on

Gibt es einen union-operator, mit denen ich mehrere rdds:

z.B. union(rdd1, rdd2,rdd3, rdd4, rdd5, rdd6)

Ist es eine Frage von Bequemlichkeit.

InformationsquelleAutor der Frage user3803714 | 2015-11-16

  1. 46

    Wenn diese RDDs können Sie SparkContext.union Methode:

    rdd1 = sc.parallelize([1, 2, 3])
rdd2 = sc.parallelize([4, 5, 6])
rdd3 = sc.parallelize([7, 8, 9])

rdd = sc.union([rdd1, rdd2, rdd3])
rdd.collect()

## [1, 2, 3, 4, 5, 6, 7, 8, 9]

    Gibt es keine DataFrame gleichwertig, aber es ist nur eine Frage der einem einfachen Einzeiler:

    from functools import reduce  # For Python 3.x
from pyspark.sql import DataFrame

def unionAll(*dfs):
    return reduce(DataFrame.unionAll, dfs)

df1 = sqlContext.createDataFrame([(1, "foo1"), (2, "bar1")], ("k", "v"))
df2 = sqlContext.createDataFrame([(3, "foo2"), (4, "bar2")], ("k", "v"))
df3 = sqlContext.createDataFrame([(5, "foo3"), (6, "bar3")], ("k", "v"))

unionAll(df1, df2, df3).show()

## +---+----+
## |  k|   v|
## +---+----+
## |  1|foo1|
## |  2|bar1|
## |  3|foo2|
## |  4|bar2|
## |  5|foo3|
## |  6|bar3|
## +---+----+

    Wenn die Anzahl der DataFrames ist groß mit SparkContext.union auf RDDs und neu DataFrame kann eine bessere Wahl zu vermeiden Fragen zu den Kosten der Ausarbeitung eines ausführungsplanes:

    def unionAll(*dfs):
    first, *_ = dfs  # Python 3.x, for 2.x you'll have to unpack manually
    return first.sql_ctx.createDataFrame(
        first.sql_ctx._sc.union([df.rdd for df in dfs]),
        first.schema
    )

    InformationsquelleAutor der Antwort zero323

  2. 0

    Leider ist es der einzige Weg, um UNION Tabellen in der Funke. Aber statt

    first = rdd1.union(rdd2)
second = first.union(rdd3)
third = second.union(rdd4)
...

    können Sie es in ein wenig sauberer Art und Weise, wie diese:

    result = rdd1.union(rdd2).union(rdd3).union(rdd4)

    InformationsquelleAutor der Antwort Nhor

  3. -2
    from pyspark.sql import DataFrame
reduce(DataFrame.unionAll, [df1,df2,df3])

    InformationsquelleAutor der Antwort evan912

Schreibe einen Kommentar