Spark gibt mehrere Spaltenbedingungen für den Datenrahmen-Join an

Geben wie die Spalte Bedingungen bei der Teilnahme an zwei dataframes. Zum Beispiel möchte ich Folgendes ausführen :

val Lead_all = Leads.join(Utm_Master,  
    Leaddetails.columns("LeadSource","Utm_Source","Utm_Medium","Utm_Campaign") ==
    Utm_Master.columns("LeadSource","Utm_Source","Utm_Medium","Utm_Campaign"),
"left")

Will ich erst beitreten, wenn diese Spalten übereinstimmen. Aber oben-syntax ist nicht gültig, da cols dauert nur eine Zeichenfolge. So, wie bekomme ich, was ich will.

InformationsquelleAutor der Frage user568109 | 2015-07-06

Gibt es eine Spark - Spalte/Ausdruck-API-beitreten für diesen Fall:

Leaddetails.join(
    Utm_Master, 
    Leaddetails("LeadSource") <=> Utm_Master("LeadSource")
        && Leaddetails("Utm_Source") <=> Utm_Master("Utm_Source")
        && Leaddetails("Utm_Medium") <=> Utm_Master("Utm_Medium")
        && Leaddetails("Utm_Campaign") <=> Utm_Master("Utm_Campaign"),
    "left"
)

Den <=> operator im Beispiel bedeutet "Gleichheit testen, ist sicher für null-Werte".

Den Unterschied mit einfachen Gleichheit testen (===) ist, dass die erste ist sicher zu verwenden, wenn die Spalten können null-Werte.

InformationsquelleAutor der Antwort rchukh

8

Als der Spark version 1.5.0 (derzeit unveröffentlicht), können Sie sich auf mehrere DataFrame Spalten. Finden Sie SPARK-7990: Hinzufügen von Methoden zu erleichtern equi-join auf mehrere join-Schlüssel.

Python
```
Leads.join(
    Utm_Master, 
    ["LeadSource","Utm_Source","Utm_Medium","Utm_Campaign"],
    "left_outer"
)
```
Scala

Die Frage gestellt, für ein Scala Antwort, aber ich glaube nicht, verwenden Scala. Hier ist meine beste Vermutung....
```
Leads.join(
    Utm_Master,
    Seq("LeadSource","Utm_Source","Utm_Medium","Utm_Campaign"),
    "left_outer"
)
```
InformationsquelleAutor der Antwort dnlbrky

Eine Sache, die Sie tun können, ist die Verwendung von raw-SQL:

case class Bar(x1: Int, y1: Int, z1: Int, v1: String)
case class Foo(x2: Int, y2: Int, z2: Int, v2: String)

val bar = sqlContext.createDataFrame(sc.parallelize(
    Bar(1, 1, 2, "bar") :: Bar(2, 3, 2, "bar") ::
    Bar(3, 1, 2, "bar") :: Nil))

val foo = sqlContext.createDataFrame(sc.parallelize(
    Foo(1, 1, 2, "foo") :: Foo(2, 1, 2, "foo") ::
    Foo(3, 1, 2, "foo") :: Foo(4, 4, 4, "foo") :: Nil))

foo.registerTempTable("foo")
bar.registerTempTable("bar")

sqlContext.sql(
    "SELECT * FROM foo LEFT JOIN bar ON x1 = x2 AND y1 = y2 AND z1 = z2")

InformationsquelleAutor der Antwort

In Pyspark können Sie einfach angeben, jede Bedingung separat:

val Lead_all = Leads.join(Utm_Master,  
    (Leaddetails.LeadSource == Utm_Master.LeadSource) &
    (Leaddetails.Utm_Source == Utm_Master.Utm_Source) &
    (Leaddetails.Utm_Medium == Utm_Master.Utm_Medium) &
    (Leaddetails.Utm_Campaign == Utm_Master.Utm_Campaign))

Nur sicher sein, verwenden Sie die Operatoren und Klammern richtig.

InformationsquelleAutor der Antwort Patricia F.

Scala:

Leaddetails.join(
    Utm_Master, 
    Leaddetails("LeadSource") <=> Utm_Master("LeadSource")
        && Leaddetails("Utm_Source") <=> Utm_Master("Utm_Source")
        && Leaddetails("Utm_Medium") <=> Utm_Master("Utm_Medium")
        && Leaddetails("Utm_Campaign") <=> Utm_Master("Utm_Campaign"),
    "left"
)

Zu machen, der groß-und Kleinschreibung,

import org.apache.spark.sql.functions.{lower, upper}

dann verwenden Sie einfach lower(value) im Zustand der join-Methode.

ZB: dataFrame.filter(lower(dataFrame.col("vendor")).equalTo("fortinet"))

InformationsquelleAutor der Antwort Ani Menon

Spark SQL unterstützt join-Tupel von Spalten, wenn in Klammern, wie

... WHERE (list_of_columns1) = (list_of_columns2)

das ist ein Weg, der kürzer als die Angabe von gleichen Ausdrücken (=) für jedes paar von Spalten verbunden durch "UND"s.

Beispiel:

SELECT a,b,c
FROM    tab1 t1
WHERE 
   NOT EXISTS
   (    SELECT 1
        FROM    t1_except_t2_df e
        WHERE (t1.a, t1.b, t1.c) = (e.a, e.b, e.c)
   )

statt

SELECT a,b,c
FROM    tab1 t1
WHERE 
   NOT EXISTS
   (    SELECT 1
        FROM    t1_except_t2_df e
        WHERE t1.a=e.a AND t1.b=e.b AND t1.c=e.c
   )

weniger lesbar zu besonders, wenn die Liste der Spalten ist groß und möchten Sie den Umgang mit Null-Werte leicht.

InformationsquelleAutor der Antwort Tagar

0

Den === Optionen geben mir duplizierte Spalten. Also ich benutze Seq statt.
```
val Lead_all = Leads.join(Utm_Master,
    Seq("Utm_Source","Utm_Medium","Utm_Campaign"),"left")
```
Natürlich funktioniert dies nur, wenn die Namen der beitretenden Spalten sind die gleichen.

InformationsquelleAutor der Antwort Climbs_lika_Spyder

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.