PySpark remplacer la valeur null dans la colonne avec la valeur dans la colonne autre

Je veux remplacer les valeurs null dans une colonne avec les valeurs dans une colonne adjacente ,par exemple si j'ai

A|B
0,1
2,null
3,null
4,2

Je veux qu'il soit:

A|B
0,1
2,2
3,3
4,2

Essayé avec

df.na.fill(df.A,"B")

Mais ne fonctionne pas, il dit que la valeur doit être un float, int, long, string, ou dict

Des idées?

InformationsquelleAutor Luis Leal | 2017-03-24
  1. 18

    À la fin trouvé une alternative:

    df.withColumn("B",coalesce(df.B,df.A))
    • A fonctionné comme un charme 🙂
    • Travaillé 🙂 Merci
    InformationsquelleAutor Luis Leal
  2. 4

    Une Autre Réponse.

    Si le ci-dessous df1 votre dataframe

    rd1 = sc.parallelize([(0,1), (2,None), (3,None), (4,2)])
df1 = rd1.toDF(['A', 'B'])

from pyspark.sql.functions import when
df1.select('A',
           when( df1.B.isNull(), df1.A).otherwise(df1.B).alias('B')
          )\
   .show()
    InformationsquelleAutor Rags
  3. 1
    df.rdd.map(lambda row: row if row[1] else Row(a=row[0],b=row[0])).toDF().show()
    • Merci à vous, à la fin , j'ai utilisé coallesce : df.withColumn("B",fusionnent(df.B,df.A)), Mais votre réponse est utile dans le cas où quelqu'un d'autre essaie.
    InformationsquelleAutor Pushkr