PySpark: modifier les valeurs de la colonne lorsqu'une autre valeur de la colonne satisfait à une condition

J'ai un PySpark Dataframe qui a deux colonnes Id et le rang,

+---+----+
| Id|Rank|
+---+----+
|  a|   5|
|  b|   7|
|  c|   8|
|  d|   1|
+---+----+

Pour chaque ligne, je suis à la recherche pour remplacer les pièces d'identité avec les "autres" si le Rang est supérieur à 5.

Si j'utilise la pseudo-code de l'expliquer:

For row in df:
  if row.Rank>5:
     then replace(row.Id,"other")

Le résultat devrait ressembler,

+-----+----+
|   Id|Rank|
+-----+----+
|    a|   5|
|other|   7|
|other|   8|
|    d|   1|
+-----+----+

Aucune idée de comment faire? Merci!!!

Pour créer cette Dataframe:

df = spark.createDataFrame([('a',5),('b',7),('c',8),('d',1)], ["Id","Rank"])

OriginalL'auteur Yuehan Lyu | 2017-05-15

  1. 19

    Vous pouvez utiliser when et otherwise comme - 

    from pyspark.sql.functions import *

df\
.withColumn('Id_New',when(df.Rank <= 5,df.Id).otherwise('other'))\
.drop(df.Id)\
.select(col('Id_New').alias('Id'),col('Rank'))\
.show()

    cela donne en sortie -

    +-----+----+
|   Id|Rank|
+-----+----+
|    a|   5|
|other|   7|
|other|   8|
|    d|   1|
+-----+----+
    un gentil @Pushkr!
    Le vôtre est une solution claire pour expliquer l'utilisation de RDD et la carte! Merci! Il fonctionne sur ce modèle, mais sur mon jeu de données réelles "a = df.rdd" opération engagées un tas de tâches et a échoué au dernier. Vous ne savez pas si c'est cher pour changer de df de RDD.
    Je pense qu'il est aussi bon de conserver le vôtre ici

    OriginalL'auteur Pushkr