Wie bekomme ich eine einzelne Spalte in der Funke?

Ich würde gerne eine Aktion durchführen, die auf eine einzelne Spalte.
Leider, nachdem ich die Transformation, die Spalte, es ist jetzt nicht mehr Teil der dataframe es kam aber ein Column-Objekt. Als solche, es kann nicht gesammelt werden.

Hier ist ein Beispiel:

df = sqlContext.createDataFrame([Row(array=[1,2,3])])
df['array'].collect()

Diese erzeugt die folgende Fehlermeldung:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'Column' object is not callable

Wie kann ich die collect() Funktion auf eine einzelne Spalte?

InformationsquelleAutor Michal | 2016-02-19
  1. 17

    Funke >= 2.0

    Ab Spark Version 2.0.0, müssen Sie explizit angeben .rdd um flatMap

    df.select("array").rdd.flatMap(lambda x: x).collect()

    Funke < 2.0

    Nur select und flatMap:

    df.select("array").flatMap(lambda x: x).collect()
## [[1, 2, 3]]
    • so ist die Verwendung von select anstelle von Untergruppen im wesentlichen dreht sich dieser in einer eine Spalte dataframe anstelle einer Spalte
    • Ja, das ist richtig. Column ist nur ein SQL-DSL-Ausdruck nicht eine eigenständige Datenstruktur.
    • Was ist das äquivalent in spark 2.0? Ich kann nicht sehen, flatMap als eine Methode, die auf DataFrame
    • Sie müssen explizit übergeben .rdd jetzt. Einmal war es eingewickelt in. z.B. df.select("array").rdd.flatMap(lambda x: x).collect()
    InformationsquelleAutor zero323
Schreibe einen Kommentar