Comment concaténer plusieurs colonnes dans un DataFrame dans une autre colonne, lorsque certaines valeurs sont nulles?

def column_concat(a,b):
return concat(a,b)
searches_df = searches_df.withColumn('unique_id',reduce(column_concat,(searches_df[col] for col in search_parameters)))

Cela fonctionne, sauf si une colonne contient une valeur null, alors l'ensemble de la chaîne concaténée est null. Je voudrais une place de titulaire ou de certains de ces caractères à la place dans la chaîne concaténée.

InformationsquelleAutor Swetha Baskaran | 2016-09-08
  1. 8

    Le suivant dataframe:

    df = sqlContext.createDataFrame([("foo", "bar"), ("baz", None)], 
                                ('a', 'b'))
df.show()

+---+----+
|  a|   b|
+---+----+
|foo| bar|
|baz|null|
+---+----+

    Une solution consiste à utiliser une fonction de filtre et remplacer la valeur null(s), par exemple:

    import pyspark.sql.functions as F
from pyspark.sql.types import StringType

concat_udf = F.udf(lambda cols: "".join([x if x is not None else "*" for x in cols]), StringType())
df.withColumn("unique_id", concat_udf(F.array("a", "b"))).show()

    ce qui donne:

    +---+----+---------+
|  a|   b|unique_id|
+---+----+---------+
|foo| bar|   foobar|
|baz|null|     baz*|
+---+----+---------+

    Sinon:

    import pyspark.sql.functions as F

def myConcat(*cols):
    return F.concat(*[F.coalesce(c, F.lit("*")) for c in cols])

df.withColumn("unique_id", myConcat("a", "b")).show()

    qui donne aussi:

    +---+----+---------+
|  a|   b|unique_id|
+---+----+---------+
|foo| bar|   foobar|
|baz|null|     baz*|
+---+----+---------+
    • Merci!!!! - Je surmonter le problème en utilisant concat_ws au lieu de cela, cependant, ces solutions sont utiles et nécessaires si un espace réservé est nécessaire.
    InformationsquelleAutor eddies