PySpark: Comment fillna valeurs dans dataframe pour des colonnes spécifiques?

J'ai l'exemple suivant DataFrame:

a    | b    | c   | 

1    | 2    | 4   |
0    | null | null| 
null | 3    | 4   |

Et je veux remplacer les valeurs nulles uniquement dans les 2 premières colonnes de la Colonne "a" et "b":

a    | b    | c   | 

1    | 2    | 4   |
0    | 0    | null| 
0    | 3    | 4   |

Voici le code à créer un échantillon de dataframe:

rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])

Je sais comment remplacer toutes les valeurs null à l'aide de:

df2 = df2.fillna(0)

Et quand j'ai essayer cela, je perds la troisième colonne:

df2 = df2.select(df2.columns[0:1]).fillna(0)

OriginalL'auteur Rakesh Adhikesavan | 2017-07-12