Comment accéder aux valeurs de colonne de tableau?

J'ai un Dataframe, avec une colonne. Chaque ligne de cette colonne est un Tableau de Chaîne de valeurs:

Valeurs dans mon Étincelle 2.2 Dataframe 

["123", "abc", "2017", "ABC"]
["456", "def", "2001", "ABC"]
["789", "ghi", "2017", "DEF"]

org.apache.spark.sql.DataFrame = [col: array]

root
|-- col: array (nullable = true)
|    |-- element: string (containsNull = true)

Quelle est la meilleure façon d'accéder aux éléments du tableau? Par exemple, je voudrais extraire des valeurs distinctes dans la quatrième élément pour l'année 2017 (réponse "ABC", "DEF").

InformationsquelleAutor user3439308 | 2017-12-01
  1. 1

    Depuis Étincelle 2.4.0, il y a une nouvelle fonction element_at($array_column, $index).

    Voir: https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$@element_at(column:org.apache.spark.sql.Column,value:Any):org.apache.spark.sql.Column

    InformationsquelleAutor pathikrit
  2. 9
     df.where($"col".getItem(2) === lit("2017")).select($"col".getItem(3))

    voir getItem de https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.Column

    • Il est intéressant de noter que getItem sera tout simplement retourner la valeur NULL si l'index est hors de la plage plutôt que la levée d'une exception.
    InformationsquelleAutor Will
  3. 3

    Quelle est la meilleure façon d'accéder aux éléments du tableau?

    Accéder à des éléments dans une colonne de tableau est par getItem opérateur.

    getItem(clés: Any): Colonne Une expression qui devient un élément à la position ordinale d'un tableau, ou obtient une valeur par clé clé dans un MapType.

    Vous pouvez également utiliser (ordinal) pour accéder à un élément à ordinal position.

    val ds = Seq(
  Array("123", "abc", "2017", "ABC"),
  Array("456", "def", "2001", "ABC"),
  Array("789", "ghi", "2017", "DEF")).toDF("col")
scala> ds.printSchema
root
 |-- col: array (nullable = true)
 |    |-- element: string (containsNull = true)
scala> ds.select($"col"(2)).show
+------+
|col[2]|
+------+
|  2017|
|  2001|
|  2017|
+------+

    C'est juste une question de choix personnel et le goût de l'approche qui vous convient le mieux, c'est à dire getItem ou tout simplement (ordinal).

    Et dans votre cas, where /filter suivie par select avec distinct donner la bonne réponse (comme @Will n').

    InformationsquelleAutor Jacek Laskowski