Spark DataFrame groupBy et trier dans l'ordre décroissant (pyspark)
Je suis en utilisant pyspark(Python 2.7.9/Spark 1.3.1) et ont un dataframe GroupObject dont j'ai besoin pour filtre & tri dans l'ordre décroissant. Essaie de l'atteindre par le biais de ce morceau de code.
group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)
Mais il génère l'erreur suivante.
sort() got an unexpected keyword argument 'ascending'
source d'informationauteur rclakmal
Vous devez vous connecter pour publier un commentaire.
Dans PySpark 1.3
sort
méthode ne prend pas ascendante paramètre. Vous pouvez utiliserdesc
plutôt la méthode:ou
desc
fonction:Les deux méthodes peuvent être utilisées avec Spark >= 1.3 (y compris Spark 2.x).
Utilisation orderBy:
http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html
Similaire à ci - dessus mais en quelque sorte sur un nouveau nom de colonne nom (ou pseudonyme):