Gelten gleiche Funktion auf alle Felder der Funke dataframe Zeile
Habe ich dataframe, in denen ich über 1000 ( variable) Spalten.
Möchte ich alle Werte in Großbuchstaben angegeben werden.
Hier ist der Ansatz, den ich gedacht haben , können Sie vorschlagen, ist dies beste Art und Weise.
- Nehmen Zeile
- Finden schema und speichern in array und finden, wie viele Felder es gibt.
- Karte durch jede Zeile im Daten-frame und bis zu Grenze der Anzahl der Elemente im array
- gelten-Funktion in Großbuchstaben, die einzelnen Felder und die return-Zeile
Du musst angemeldet sein, um einen Kommentar abzugeben.
Wenn Sie wollen einfach nur, um die gleichen Funktionen, um alle Spalten sollte sowas reichen:
oder in Python
Siehe auch: SparkSQL: anwenden von Aggregatfunktionen auf eine Liste von Spalte
alias
legt einen Namen für die Spalte.:_*
bezeichnet varargs-syntax in Scala. In anderen Worten, es geht jedes element der Sequenz als argument fürselect
.Ich musste das tun, ähnlich, aber hatte zu schreiben, meine eigene Funktion zum konvertieren von leeren Zeichenfolgen innerhalb eines dataframe zu null. Dies ist, was ich getan habe.
Hier ist eine verfeinerte Funktion emptyToNull Hilfe von Optionen anstelle von null.