Gewusst wie: filtern von Daten mithilfe von Fenster-Funktionen in der Funke

Habe ich folgende Daten :

rowid uid time code
   1  1      5    a
   2  1      6    b
   3  1      7    c
   4  2      8    a
   5  2      9    c
   6  2      9    c
   7  2     10    c
   8  2     11    a
   9  2     12    c

Nun wollte ich die Daten filtern, die in einer Weise, die ich kann entfernen Sie die Zeilen 6 und 7 für einen bestimmten uid ich will einfach eine Zeile mit dem Wert 'c' im code

Also die zu erwartenden Daten sollten sein :

rowid uid time code
   1  1      5    a
   2  1      6    b
   3  1      7    c
   4  2      8    a
   5  2      9    c
   8  2     11    a
   9  2     12    c

Ich bin mit der Fenster-Funktion, so etwas wie dieses :

val window = Window.partitionBy("uid").orderBy("time")
val change = ((lag("code", 1).over(window) <=> "c")).cast("int")

Dies würde uns dabei helfen, jede Zeile mit dem code 'c'. Verlängere ich diese heraus zu filtern und Zeilen, um die erwarteten Daten

Können Sie klären Ihre Anforderung? Ist es der Fall, dass für jede UID, die Sie behalten möchten nur eine Zeile für jeden code, oder ist nur für code "c", das Sie brauchen, um dies zu tun?

InformationsquelleAutor hbabbar | 2016-08-10

5

Wenn Sie möchten, entfernen Sie nur die Zeilen, in denen code = "c" (außer der ersten für jede uid) können Sie Folgendes versuchen:
```
val window = Window.partitionBy("uid", "code").orderBy("time")
val result = df
  .withColumn("rank", row_number().over(window))
  .where(
    (col("code") !== "c") ||
    col("rank") === 1
  )
  .drop("rank")
```
Bearbeiten, basierend auf neuen Informationen:
```
val window = Window.partitionBy("uid").orderBy("time")
val result = df
  .withColumn("lagValue", coalesce(lag(col("code"), 1).over(window), lit("")))
  .where(
    (col("code") !== "c") ||
    (col("lagValue") !== "c")
  )
  .drop("lagValue")
```
- Über die Verwendung der oben genannten code, wenn ich partitionBy("uid", "code"), der resultierende Datensatz ist falsch, denn das gibt das folgende Ergebnis : rowid uid-time-code
- warum ist es falsch?
- Entschuldigung, verpasste das hochladen der gesamte Kommentar.. Also Die resultierende df ist so etwas wie : Über die Verwendung der oben genannten code, wenn ich val Window = Fenster.partitionBy("uid", "code").orderBy("Zeit") df.withColumn("Rang", row_number().über die(Fenster -)) der resultierende Datensatz ist falsch, denn das gibt das folgende Ergebnis : rowid uid-time-code Rang 1 1 5 1 4 2 8 2 2 1 6 b 1 3 1 7 c 1 5 2 9 c 1 Also ich lose aus, die auf die Gruppierung nach der uid
- Sie sollten versuchen, den vollständigen code, nicht nur die erste Zeile: df.withColumn("rank", row_number().over(window)).where( (col("code") !== "c") || col("rank") === 1 ).drop("rank")
- Ich sehe nicht, wo das Ergebnis, das Sie mir zeigen, ist falsch. Es scheint in der Höhe des "erwarteten" Ergebnis, aber eben out of order. Sie können ganz einfach neu, um es mit .orderBy("rowid") oder .orderBy("uid", "rowid")
- Obwohl das snippet war wie erwartet funktioniert, es war ein zwicken in die funktionale Anforderung, und wir mussten zu sorgen, dass auch. Ich habe die "Zeit" - Spalte in der Partitionierung die Fenster, aber in diesem Fall es gibt auch Zeile 7 (das ist nicht das, was wir wollen). Irgendwelche Vorschläge, wie man das zwicken
- Ich verstehe nicht, die neue Anforderung. Warum wollen Sie die Linie 9, aber nicht die Linie 7?
- Das 'c' steht für eine conversion, so dass die Daten in Zeile 7 stellen eine Konvertierung ohne Interaktion mit jedem digitalen Kanal, so müssen wir filtern das heraus,
- Es muss also eine andere Spalte, die angibt, dass es die herausgefiltert werden soll. Mit der sample-Daten in Ihre quesiton, ich sehe keinen Unterschied zwischen Zeile 7 und 9.
- Der Unterschied zwischen Zeile 7 und Zeile 9 ist einfach, dass die vorangehenden Zeilen (Zeile 6) hat code 'c' und (Zeile 8) hat code 'a' und somit müssen wir filtern aus solchen Reihen.
- ok, so jetzt gibt es die lag beteiligt. Ich update meine Antwort.
- vielleicht ist die neue edit funktioniert?
- Lassen Sie uns weiter, diese Diskussion im chat.
- Ich fürchte nicht, ich war mit dem lag zunächst das Problem ist das gleiche, dass es nicht in der Lage zu erkennen, zwei aufeinander folgende 'c' und damit Zeile 7 wurde nicht gefiltert. Ich weiß, das ist ein wenig umständlich zu tun, hin-und-her das gleiche Problem, aber ich war nicht in der Lage, die Kombination von diesen Bedingungen korrigieren
- In meinen tests, Zeile 7 gefiltert wurde
InformationsquelleAutor Daniel de Paula

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.