Comment trouver la valeur max de la paire RDD?

J'ai une étincelle paire de RDD (clé, comte) comme ci-dessous

Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3))

Comment trouver la clé avec plus compter à l'aide de l'étincelle scala API?

EDIT: type de données de la paire RDD est org.apache.spark.rdd.RDD[(String, Int)]

comment avez-vous trouver le type de données de la paire rdd?

OriginalL'auteur Vijay Innamuri | 2014-11-12

  1. 20

    Utilisation Array.maxBy méthode:

    val a = Array(("a",1), ("b",2), ("c",1), ("d",3))
val maxKey = a.maxBy(_._2)
//maxKey: (String, Int) = (d,3)

    ou RDD.max:

    val maxKey2 = rdd.max()(new Ordering[Tuple2[String, Int]]() {
  override def compare(x: (String, Int), y: (String, Int)): Int = 
      Ordering[Int].compare(x._2, y._2)
})

    OriginalL'auteur Sergey Lagutin

  2. 12

    Utilisation takeOrdered(1)(Ordering[Int].reverse.on(_._2)):

    val a = Array(("a",1), ("b",2), ("c",1), ("d",3))
val rdd = sc.parallelize(a)
val maxKey = rdd.takeOrdered(1)(Ordering[Int].reverse.on(_._2))
//maxKey: Array[(String, Int)] = Array((d,3))

    OriginalL'auteur Jacek Laskowski

  3. 6

    Pour Pyspark:

    Laisser a être la paire de RDD avec des touches comme une Chaîne de caractères et de valeurs entiers puis

    a.max(lambda x:x[1])

    renvoie la valeur de la clé de paire avec le maximum de valeur. Fondamentalement, la fonction max d'ordres de la valeur de retour de la fonction lambda.

    Ici a est une paire de RDD avec des éléments tels que ('key',int) et x[1], renvoie la partie entière de l'élément.

    Noter que le max fonction par elle-même va de commande par clé et le retour de la valeur max.

    De la Documentation est disponible à https://spark.apache.org/docs/1.5.0/api/python/pyspark.html#pyspark.RDD.max

    La question est liée à la Scala de ne pas python
    une idée de comment peut-on imprimer le n-uplet entier? La réponse ci-dessus donne la valeur maximum de x[1]. Je veux aussi que la valeur de x[0] x[1] est maximale
    non, il renvoie deux valeurs.

    OriginalL'auteur Mayank

  4. 2

    Étincelle RDD sont plus efficaces timewise quand ils sont de gauche comme CA et pas tourné dans des Tableaux 

    strinIntTuppleRDD.reduce((x, y) => if(x._2 > y._2) x else y)

    OriginalL'auteur Rubber Duck