Wie die Gruppe von Zeit-Intervall in Spark SQL

Mein Datensatz sieht wie folgt aus:

KEY |Event_Type | metric | Time 
001 |event1     | 10     | 2016-05-01 10:50:51
002 |event2     | 100    | 2016-05-01 10:50:53
001 |event3     | 20     | 2016-05-01 10:50:55
001 |event1     | 15     | 2016-05-01 10:51:50
003 |event1     | 13     | 2016-05-01 10:55:30
001 |event2     | 12     | 2016-05-01 10:57:00
001 |event3     | 11     | 2016-05-01 11:00:01

Will ich alle zu erhalten, wenn Sie die Schlüssel, die dies bestätigen:

"SUMME der Metrik für ein bestimmtes Ereignis" > Schwelle während 5 Minuten .

Dies erscheint mir ein guter Kandidat für die Verwendung der Schiebefenster Funktionen .

Wie kann ich das mit Spark SQL ?

Danke.

InformationsquelleAutor Nabil | 2016-06-04
Schreibe einen Kommentar