Convertir séparées par des virgules chaîne de tableau dans pyspark dataframe

J'ai un dataframe comme ci-dessous où ev est de type string.

>>> df2.show()
+---+--------------+
| id|            ev|
+---+--------------+
|  1| 200, 201, 202|
|  1|23, 24, 34, 45|
|  1|          null|
|  2|            32|
|  2|          null|
+---+--------------+

Est-il un moyen de jeter ev type ArrayType sans l'aide de l'UDF ou de l'UDF, est la seule option pour le faire?

OriginalL'auteur Swadeep | 2016-07-04

  1. 15

    Vous pouvez utiliser les haut- split fonction:

    from pyspark.sql.functions import col, split

df = sc.parallelize([
    (1, "200, 201, 202"), (1, "23, 24, 34, 45"), (1, None),
    (2, "32"), (2, None)]).toDF(["id", "ev"])

df.select(col("id"), split(col("ev"), ",\s*").alias("ev"))

    Si vous voulez convertir les données numériques de types que vous pouvez exprimés comme suit:

    df.withColumn(
    "ev",
    split(col("ev"), ",\s*").cast("array<int>").alias("ev")
)

    ou 

    from pyspark.sql.types import ArrayType, IntegerType

df.withColumn(
    "ev",
    split(col("ev"), ",\s*").cast(ArrayType(IntegerType())).alias("ev")
)
    Merci pour l'information, après un peu de recherche, je viens de découvrir la fonction de répartition et était sur le point de publier la réponse :).
    L'un de plus d'aide, j'ai cherché pour ce seul et pas en mesure de trouver. La résultante de la matrice est un tableau de chaîne de caractères, peut-on l'avoir en tant que tableau d'entiers?
    Oui, vous pouvez convertir des types par la suite.
    Super.. merci !!

    OriginalL'auteur zero323