Hinzufügen einer neuen Spalte zu einem Dataframe. Neue Spalte, die ich wollen, dass es eine UUID generator

Möchte ich noch hinzufügen einer neuen Spalte zu einem Dataframe, ein UUID-generator.

UUID-Wert Aussehen wird, so etwas wie 21534cf7-cff9-482a-a3a8-9e7244240da7

Meiner Forschung:

Habe ich versucht, mit withColumn Methode in der Funke.

val DF2 = DF1.withColumn("newcolname", DF1("existingcolname" + 1)

So DF2 haben zusätzliche Spalte mit newcolname mit 1 Hinzugefügt, um es in allen Reihen.

Durch meine Forderung ist, dass ich will eine neue Spalte erzeugt werden können, die UUID.

InformationsquelleAutor Sri | 2016-05-14
  1. 15

    Sollten Sie versuchen, so etwas wie dieses:

    val sc: SparkContext = ...
val sqlContext = new SQLContext(sc)

import sqlContext.implicits._

val generateUUID = udf(() => UUID.randomUUID().toString)
val df1 = Seq(("id1", 1), ("id2", 4), ("id3", 5)).toDF("id", "value")
val df2 = df1.withColumn("UUID", generateUUID())

df1.show()
df2.show()

    Ausgabe:

    +---+-----+
| id|value|
+---+-----+
|id1|    1|
|id2|    4|
|id3|    5|
+---+-----+

+---+-----+--------------------+
| id|value|                UUID|
+---+-----+--------------------+
|id1|    1|f0cfd0e2-fbbe-40f...|
|id2|    4|ec8db8b9-70db-46f...|
|id3|    5|e0e91292-1d90-45a...|
+---+-----+--------------------+
    • Hallo Deine Antwort hat mir sehr geholfen
    • Gut zu hören, dass @Sri 😉 ich wäre dankbar für die Kennzeichnung der meine Antwort als akzeptiert eins.
    • ja sicher,,,fertig
    • Ich sehe zwei Probleme mit dieser Lösung. Die erste ist, die UUID.randomUUID ist nicht garantiert einzigartig zu sein in einem cluster. Es verwendet pseudo-Zufallszahlen, was in Ordnung ist, auf einer einzigen Maschine, aber in einem cluster, kann man Kollisionen. Zweitens, werden die Dokumente für die Benutzer-Definierten Funktionen sagen, dass UDFs muss deterministisch sein. Durch die Definitionen, die UUIDs nicht. github.com/apache/spark/blob/...
    • Für mehr info darüber, wie nicht-Determinismus kann zu Problemen führen, siehe stackoverflow.com/questions/42960920/...
    InformationsquelleAutor Paweł Jurczenko
  2. -1

    Dies ist, wie wir es in Java hatten wir eine Spalte Datum und wollte eine weitere Spalte hinzufügen mit Monat.

    Dataset<Row> newData = data.withColumn("month", month((unix_timestamp(col("date"), "MM/dd/yyyy")).cast("timestamp")));

    Können Sie verwenden ähnliche Technik zum hinzufügen einer Spalte.

    Dataset<Row> newData1 = newData.withColumn("uuid", lit(UUID.randomUUID().toString()));

    Prost !

    • Mit dem zweiten Ansatz, so fügen Sie die gleiche ID in allen Zeilen
    InformationsquelleAutor Sachin Thapa
Schreibe einen Kommentar