Nicht unterstützte literal-Typ-Klasse in Apache Spark in scala

Habe ich folgende Daten:

    +---------------+-----------+-------------+-----+------+
    |   time_stamp_0|sender_ip_1|receiver_ip_2|count|attack|
    +---------------+-----------+-------------+-----+------+
    |06:10:55.881073|   10.0.0.3|     10.0.0.1|   1 |     0|
    |06:10:55.881095|   10.0.0.3|     10.0.0.1|   2 |     0|
    |06:10:55.881114|   10.0.0.3|     10.0.0.1|   3 |     0|
    |06:10:55.881133|   10.0.0.3|     10.0.0.1|   4 |     0|
    |06:10:55.881152|   10.0.0.3|     10.0.0.1|   5 |     0|
    |06:10:55.881172|   10.0.0.3|     10.0.0.1|   6 |     0|
    |06:10:55.881191|   10.0.0.3|     10.0.0.1|   7 |     0|
    |06:10:55.881210|   10.0.0.3|     10.0.0.1|   8 |     0|

Muss ich vergleichen Sie die Gesamt-Standardabweichung auf Spalte "Anzahl" mit sich selbst (mit count-Spalte) in meinem dataframe. Hier ist mein code:

val std_dev=Dataframe_addcount.agg(stddev_pop($"count"))

val final_add_count_attack = Dataframe_addcount.withColumn("attack", when($"count" > std_dev , 0).otherwise(1))

Aber mein problem ist, dass, bekam ich die folgende Fehlermeldung:

Unsupported literal type class org.apache.spark.sql.Dataset [stddev_pop(count): double]

Könnten Sie mir helfen? Vielen Dank.

  • In meinem Fall ist es, weil ich sammeln und nicht bemerken, dass ich ein array von Zeilen-Objekte eher als ein array von Strings. Sie können nicht verwenden Sie das Ergebnis sammeln Sie in einer where-Klausel einen Daten-frame, es sei denn, Sie wickeln Sie die Werte.
InformationsquelleAutor Queen | 2017-06-28
  1. 2

    Es ist, weil, wenn und andernfalls sollten Sie die Werte verwenden; nicht std_dev ist ein DataFrame.

    Können Sie bekommen Ergebnis:

    val stdDevValue = std_dev.head().getDouble(0)

val final_add_count_attack = Dataframe_addcount.withColumn("attack", when($"count" > lit(std_dev), lit(0)).otherwise(lit(1)))
    • Danke für deine Antwort. Wie sollte ich konvertieren Sie die std_dev zu verdoppeln? Sollte ich eine andere Methode verwenden, um die Standardabweichung berechnen? Dank
    • Danke, nur ein kleines problem ist, dass getAsDouble tut nicht zu erkennen ist, in meinem intellij idea. 🙁
    • Es ist getDouble - ich habe es behoben
    • Ich bin immer ähnliche Fehler während der Filterung ...wie man es beheben .... result_df.filter( col("Anzeige") === lit('N')) .... FEHLER ::: RuntimeException: nicht Unterstützte literal Typ der Klasse java.lang.Zeichen N
    • verwenden Sie "N" anstelle von 'N'
    • benutzt, danke .... stackoverflow.com/questions/53727559/...

    InformationsquelleAutor T. Gawęda
Schreibe einen Kommentar