PySpark: modifier les valeurs de la colonne lorsqu'une autre valeur de la colonne satisfait à une condition
J'ai un PySpark Dataframe qui a deux colonnes Id et le rang,
+---+----+
| Id|Rank|
+---+----+
| a| 5|
| b| 7|
| c| 8|
| d| 1|
+---+----+
Pour chaque ligne, je suis à la recherche pour remplacer les pièces d'identité avec les "autres" si le Rang est supérieur à 5.
Si j'utilise la pseudo-code de l'expliquer:
For row in df:
if row.Rank>5:
then replace(row.Id,"other")
Le résultat devrait ressembler,
+-----+----+
| Id|Rank|
+-----+----+
| a| 5|
|other| 7|
|other| 8|
| d| 1|
+-----+----+
Aucune idée de comment faire? Merci!!!
Pour créer cette Dataframe:
df = spark.createDataFrame([('a',5),('b',7),('c',8),('d',1)], ["Id","Rank"])
OriginalL'auteur Yuehan Lyu | 2017-05-15
Vous devez vous connecter pour publier un commentaire.
Vous pouvez utiliser
when
etotherwise
comme -cela donne en sortie -
Le vôtre est une solution claire pour expliquer l'utilisation de RDD et la carte! Merci! Il fonctionne sur ce modèle, mais sur mon jeu de données réelles "a = df.rdd" opération engagées un tas de tâches et a échoué au dernier. Vous ne savez pas si c'est cher pour changer de df de RDD.
Je pense qu'il est aussi bon de conserver le vôtre ici
OriginalL'auteur Pushkr