Das kartesische Produkt von zwei RDD-Zündkerzen

Ich bin völlig neu zu Apache Spark und ich versucht zu kartesischen Produkt zwei RDD. Als Beispiel habe ich A und B wie :

A = {(a1,v1),(a2,v2),...}
B = {(b1,s1),(b2,s2),...}

Brauche ich eine neue RDD wie:

C = {((a1,v1),(b1,s1)), ((a1,v1),(b2,s2)), ...}

Irgendeine Idee, wie ich dies tun kann? So einfach wie möglich 🙂

Vielen Dank im Voraus

PS: endlich habe ich habe es so wie vorgeschlagen von @Amit Kumar:

cartesianProduct = A. kartesische(B)

InformationsquelleAutor ahajib | 2015-06-22
  1. 5

    Das ist nicht das Skalarprodukt, das ist das kartesische Produkt. Verwenden Sie die cartesian Methode:

    def cartesian[U](other: spark.api.java.JavaRDDLike[U, _]): JavaPairRDD[T, U]

    Zurück das kartesische Produkt dieser RDD und ein anderes, das heißt, die RDD, der alle Paare von Elementen (a, b), wobei a in this und b ist in other.

    Quelle

    InformationsquelleAutor Amit Kumar Gupta
  2. 1

    Können Sie es tun, wie die folgenden:

    A = {(a1,v1),(a2,v2),...}
B = {(b1,s1),(b2,s2),...}

C = A.cartesian(B)

    Und wenn Sie das tun:

    C.take(5)

    Können Sie sehen, dass dies ist, was Sie wollen.

    InformationsquelleAutor
  3. 1

    Nur im Fall, wenn Sie neugierig sind, wie man mit mehreren Listen, hier ein Beispiel in pyspark

    >>> a = [1,2,3]
>>> b = [5,6,7,8]
>>> c = [11,22,33,44,55]
>>> import itertools
>>> abcCartesianRDD = sc.parallelize(itertools.product(a,b,c))
>>> abcCartesianRDD.count() #Test
    60
    InformationsquelleAutor blueskin
Schreibe einen Kommentar