PySpark: Comment fillna valeurs dans dataframe pour des colonnes spécifiques?
J'ai l'exemple suivant DataFrame:
a | b | c |
1 | 2 | 4 |
0 | null | null|
null | 3 | 4 |
Et je veux remplacer les valeurs nulles uniquement dans les 2 premières colonnes de la Colonne "a" et "b":
a | b | c |
1 | 2 | 4 |
0 | 0 | null|
0 | 3 | 4 |
Voici le code à créer un échantillon de dataframe:
rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])
Je sais comment remplacer toutes les valeurs null à l'aide de:
df2 = df2.fillna(0)
Et quand j'ai essayer cela, je perds la troisième colonne:
df2 = df2.select(df2.columns[0:1]).fillna(0)
OriginalL'auteur Rakesh Adhikesavan | 2017-07-12
Vous devez vous connecter pour publier un commentaire.
Il y a un paramètre nommé
subset
pour choisir les colonnes à moins que votre spark version est inférieure à 1.3.1OriginalL'auteur Zhang Tong
Utiliser un dictionnaire pour remplir les valeurs de certaines colonnes:
OriginalL'auteur scottlittle