Comment inverser l'ordre pour RDD.takeOrdered ()?

Quelle est la syntaxe pour inverser l'ordre des takeOrdered() la méthode d'un EDR Spark?

Pour les points de bonus, quelle est la syntaxe pour les commande pour un EDR Spark?

source d'informationauteur StackG

  1. 25

    Ordre Inverse

    val seq = Seq(3,9,2,3,5,4)
val rdd = sc.parallelize(seq,2)
rdd.takeOrdered(2)(Ordering[Int].reverse)

    Résultat sera Array(9,5)

    Personnalisé Afin

    Nous permettra de trier les gens en âge.

    case class Person(name:String, age:Int)
val people = Array(Person("bob", 30), Person("ann", 32), Person("carl", 19))
val rdd = sc.parallelize(people,2)
rdd.takeOrdered(1)(Ordering[Int].reverse.on(x=>x.age))

    Résultat sera Array(Personne(ann,32))

  2. 8
    val rdd1 = sc.parallelize(List(("Hadoop PIG Hive"), ("Hive PIG PIG Hadoop"), ("Hadoop Hadoop Hadoop")))

val rdd2 = rdd1.flatMap(x => x.split(" ")).map(x => (x,1))

val rdd3 = rdd2.reduceByKey((x,y) => (x+y))

    //Inverse L'Ordre (Ordre Décroissant)

    rdd3.takeOrdered(3)(Ordering[Int].reverse.on(x=>x._2))

    De sortie:

    res0: Array[(String, Int)] = Array((Hadoop,5), (PIG,3), (Hive,2))

    //Ordre Croissant

    rdd3.takeOrdered(3)(Ordering[Int].on(x=>x._2))

    De sortie:

    res1: Array[(String, Int)] = Array((Hive,2), (PIG,3), (Hadoop,5))