brauche Hilfe für den Vergleich von zwei Spalten in spark scala

Habe ich spark dataframe wie diese

id1 id2 attrname attr_value attr_valuelist
1    2  test         Yes      Yes, No
2    1  test1        No       Yes, No
3    2  test2       value1    val1, Value1,value2
4    1  test3         3        0, 1, 2
5    3  test4         0        0, 1, 2
11   2  test         Yes      Yes, No
22   1  test1        No1       Yes, No
33   2  test2       value0    val1, Value1,value2
44   1  test3         11        0, 1, 2
55   3  test4         0        0, 1, 2

val df = sqlContext.sql("select id1, id2, attrname, attr_value, attr_valuelist from dftable)

möchte ich überprüfen, attr_value. in attr_valuelist wenn es nicht existiert, dann nehmen Sie nur diese Zeilen

id1 id2 attrname attr_value attr_valuelist
4    1  test3         3        0, 1, 2
22   1  test1        No1       Yes, No
33   2  test2       value0    val1, Value1,value2
44   1  test3         11        0, 1, 2
InformationsquelleAutor Narendra Mohan Prasad | 2017-07-10
  1. 2

    können Sie einfach führen Sie folgende Aktionen enthält in Ihrem dataframe

    import org.apache.spark.sql.functions._
df.filter(!(col("attr_valuelist").contains(col("attr_value")))).show(false)

    sollten Sie folgende Ausgabe 

    +---+---+--------+----------+-------------------+
|id1|id2|attrname|attr_value|attr_valuelist     |
+---+---+--------+----------+-------------------+
|3  |2  |test2   |value1    |val1, Value1,value2|
|4  |1  |test3   |3         |0, 1, 2            |
|22 |1  |test1   |No1       |Yes, No            |
|33 |2  |test2   |value0    |val1, Value1,value2|
|44 |1  |test3   |11        |0, 1, 2            |
+---+---+--------+----------+-------------------+

    Wenn Sie wollen ignorieren die groß-und Kleinschreibung dann können Sie einfach Benutzer lower Funktion als

    df.filter(!(lower(col("attr_valuelist")).contains(lower(col("attr_value"))))).show(false)

    sollten Sie 

    +---+---+--------+----------+-------------------+
|id1|id2|attrname|attr_value|attr_valuelist     |
+---+---+--------+----------+-------------------+
|4  |1  |test3   |3         |0, 1, 2            |
|22 |1  |test1   |No1       |Yes, No            |
|33 |2  |test2   |value0    |val1, Value1,value2|
|44 |1  |test3   |11        |0, 1, 2            |
+---+---+--------+----------+-------------------+
    • Dank Ramesh, aber ich sehe obigen Beispiel wird auch die Spalten auswählen, wenn ich Wert id1|id2|attrname|attr_value.|attr_valuelist ----------------------------------------------------------- 44 |1 |test3 |1 |10, 11, 12 attr_valuelist ist kein array, es ist eine Zeichenfolge
    • Hast du es testen? Ich fügte die oben genannten Zeile und es wurde herausgefiltert. Und ich bin der Behandlung attr_valuelist als string zu nicht wie ein array.
    • sorry, ich war die Prüfung über sql, so dass es kam, wie wahr, ich bin auch nicht immer es. ich danke Ihnen sehr. Ich bin nicht in der Lage, klicken Sie auf annehmen, beantworten. Ich werde es tun, in einiger Zeit.
    • können Sie akzeptieren, Wann immer Sie können. und denken Sie daran, upvote als gut, wenn Sie kommen. 😉
    • sicher werde ich das tun
    • sind Sie noch nicht in der Lage zu akzeptieren und upvote 🙂

    InformationsquelleAutor Ramesh Maharjan
  2. 1

    Können Sie definieren eine benutzerdefinierte Funktion benutzerdefinierte Funktion in der Funke, wo Sie können testen, ob ein Wert aus einer Spalte enthalten ist, in den Wert der anderen Spalte, wie folgt:

    def contains = udf((attr: String, attrList: String) => attrList.contains(attr))
def notContains = udf((attr: String, attrList: String) => !attrList.contains(attr))

    können Sie tweak enthält eine Funktion, wie Sie wollen, und dann können Sie von Ihrem dataframe wie diese

    df.where(contains(df("attr_value", df("attr_valuelist")))
df.where(notContains(df("attr_value", df("attr_valuelist")))
    InformationsquelleAutor dumitru
Schreibe einen Kommentar