Ist Spark SQL UDAF (user defined aggregate-Funktion) verfügbar in der Python-API?
Als der Funke 1.5.0 scheint es möglich, eigene zu schreiben, UDAF für benutzerdefinierte Aggregationen auf DataFrames:
Spark 1.5 DataFrame API-Highlights: Datum/Zeit/String-Handling, Zeit-Abständen, und UDAFs
Es ist jedoch unklar ist mir, ob diese Funktionalität unterstützt wird, in die Python-API?
- Nein, es ist nicht unterstützt. Sie können rufen Sie Scala UDAF, aber es ist nicht schön. Siehe meine Antwort, Spark: How to map Python mit Scala oder Java-User Defined Functions? für ein komplettes Beispiel.
- so ist es nun availaible in spark 1.6 oder 1.61?
- Weder 1.6.x noch 2.0.
- Möglich, Duplikat der Spark: gewusst Wie: anzeigen von Python mit Scala oder Java-User Defined Functions?
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
Können Sie nicht definiert Python UDAF in Spark-1.5.0-2.0.0. Es ist ein JIRA-tracking-dieser feature-request:
gelöst mit dem Ziel, ein "später" so wird es wahrscheinlich nicht passieren jederzeit bald.
Können Sie Scala UDAF von PySpark - es ist beschrieben Spark: How to map Python mit Scala oder Java-User Defined Functions?