Comment utiliser la Colonne.isin avec la liste?

val items = List("a", "b", "c")

sqlContext.sql("select c1 from table")
          .filter($"c1".isin(items))
          .collect
          .foreach(println)

Le code ci-dessus lance l'exception suivante.

Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon List(a, b, c) 
at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49)
at org.apache.spark.sql.functions$.lit(functions.scala:89)
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642)
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35)
at scala.collection.TraversableLike$class.map(TraversableLike.scala:245)
at scala.collection.AbstractTraversable.map(Traversable.scala:104)
at org.apache.spark.sql.Column.isin(Column.scala:642)

Ci-dessous est ma tentative de le fixer. Il compile et s'exécute mais ne retourne pas n'importe quel match. Je ne sais pas pourquoi.

val items = List("a", "b", "c").mkString("\"","\",\"","\"")

sqlContext.sql("select c1 from table")
          .filter($"c1".isin(items))
          .collect
          .foreach(println)
InformationsquelleAutor Nabegh | 2015-09-13
  1. 98

    Selon la documentation, isin prend un vararg, et non une liste. La liste est en fait une confusion de nom ici. Vous pouvez essayer de convertir votre Liste de vararg comme ceci:

    val items = List("a", "b", "c")

sqlContext.sql("select c1 from table")
          .filter($"c1".isin(items:_*))
          .collect
          .foreach(println)

    Votre variante avec mkString compile, car une seule Chaîne est également un vararg (avec nombre d'arguments égal à 1), mais il est proably pas ce que vous voulez atteindre.

    • Je hava rencontré la même question, votre réponse est juste, Merci!
    InformationsquelleAutor Niemand
  2. 13

    Il a travaillé comme ceci dans l'Api Java (Java 8) 

    .isin(sampleListName.stream().toArray(String[]::new))));

    sampleListName une Liste

    • C'est la meilleure réponse pour 2019.
    • Merci jpwrunyan!
    InformationsquelleAutor Anandkumar
  3. 0

    Encore plus facile:

    sqlContext.sql("select c1 from table")
          .filter($"c1".isin("a", "b", "c"))
          .collect
          .foreach(println)

    Sauf si vous avez beaucoup de valeurs de la liste, ce qui n'est pas le cas habituellement.

    InformationsquelleAutor Pedro H
  4. -1

    Comme Tomalak a mentionné :

    isin(java.lang.Object... list)
A boolean expression that is evaluated to true if the value 
of this expression is contained by the evaluated values of the arguments.

    Par conséquent, vous avez juste à fixer le faire la modification suivante :

    val items = List("a", "b", "c").map(c => s""""$c"""")
    • Pourquoi la carte? Mon est que .filter($"c1".isin(List("a", "b", "c"))) serait de travailler.
    • Compte tenu de votre code List("a", "b", "c").mkString("\"","\",\"","\""), je suppose que vous avez voulu entourer chaque élément par des guillemets doubles. La carte fait la même chose.
    • Pas mon code. 😉
    InformationsquelleAutor Francis Toth