Wie verwenden Sie die Spalte.isin-Liste?

val items = List("a", "b", "c")

sqlContext.sql("select c1 from table")
          .filter($"c1".isin(items))
          .collect
          .foreach(println)

Den code oben wirft die folgende Ausnahme.

Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon List(a, b, c) 
at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49)
at org.apache.spark.sql.functions$.lit(functions.scala:89)
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642)
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35)
at scala.collection.TraversableLike$class.map(TraversableLike.scala:245)
at scala.collection.AbstractTraversable.map(Traversable.scala:104)
at org.apache.spark.sql.Column.isin(Column.scala:642)

Unten ist mein Versuch, es zu beheben. Es kompiliert und läuft, aber nicht wieder jedes Spiel. Nicht sicher, warum.

val items = List("a", "b", "c").mkString("\"","\",\"","\"")

sqlContext.sql("select c1 from table")
          .filter($"c1".isin(items))
          .collect
          .foreach(println)
InformationsquelleAutor Nabegh | 2015-09-13
  1. 101

    Laut Dokumentation isin nimmt ein vararg, nicht eine Liste. Liste ist wirklich verwirrend mit den Namen hier. Sie können versuchen, konvertieren Sie Ihre Liste, um vararg wie diese:

    val items = List("a", "b", "c")

sqlContext.sql("select c1 from table")
          .filter($"c1".isin(items:_*))
          .collect
          .foreach(println)

    Ihre Variante mit mkString kompiliert, da eine single-String ist auch ein vararg (mit Anzahl der Argumente gleich 1 ist), aber es ist proably nicht das, was Sie erreichen wollen.

    • Ich hava trafen sich die gleiche Frage, Ihre Antwort ist richtig, Danke!
    InformationsquelleAutor Niemand
  2. 13

    Er arbeitete, wie dies in Java-Api (Java 8) 

    .isin(sampleListName.stream().toArray(String[]::new))));

    sampleListName ist eine Liste

    • Dies ist die beste Antwort für 2019.
    • Danke jpwrunyan!
    InformationsquelleAutor Anandkumar
  3. 0

    Sogar noch einfacher:

    sqlContext.sql("select c1 from table")
          .filter($"c1".isin("a", "b", "c"))
          .collect
          .foreach(println)

    Es sei denn, Sie haben eine Menge von Listen-Werten, was nicht der Fall in der Regel.

    InformationsquelleAutor Pedro H
  4. -1

    Als Tomalak hat es erwähnt :

    isin(java.lang.Object... list)
A boolean expression that is evaluated to true if the value 
of this expression is contained by the evaluated values of the arguments.

    Daher, Sie nur dieses Problem beheben könnte folgende änderung :

    val items = List("a", "b", "c").map(c => s""""$c"""")
    • Warum die Karte? Meine ist, dass .filter($"c1".isin(List("a", "b", "c"))) funktionieren würde.
    • In Anbetracht Ihrer code List("a", "b", "c").mkString("\"","\",\"","\"") ich davon ausgegangen, dass Sie wollte, surround-jedes Element in doppelten Anführungszeichen. Die Karte macht das gleiche.
    • Nicht mein code. 😉
    InformationsquelleAutor Francis Toth
Schreibe einen Kommentar