Comment faire pour trier les RDD

J'ai scoreTriplets est CA[ARRAY[String]] dont je suis le tri par la suite.

var ScoreTripletsArray = scoreTriplets.collect()
  if (ScoreTripletsArray.size > 0) {        
    /*Sort the ScoreTripletsArray descending by score field*/        
    scala.util.Sorting.stableSort(ScoreTripletsArray, (e1: Array[String], e2: Array[String]) => e1(3).toInt > e2(3).toInt)
}

Mais collect() va être lourd Si il y a des éléments en manque.

J'ai donc besoin de trier des RDD par score sans l'aide de collect().
scoreTriples est CA[ARRAY[String]] chaque ligne de RDD permettra de stocker un Tableau de variables.
EdgeId sourceID destID score sourceNAme destNAme distance

Merci de me donner une référence ou un indice.

OriginalL'auteur Sandip Armal Patil | 2015-11-18

  1. 8

    Tri sera, en raison de brassage, une opération coûteuse, même sans la collecte mais vous pouvez utiliser sortBy méthode:

    import scala.util.Random

val data = Seq.fill(10)(Array.fill(3)("") :+ Random.nextInt.toString)
val rdd  = sc.parallelize(data)

val sorted = rdd.sortBy(_.apply(3).toInt)
sorted.take(3)
//Array[Array[String]] = Array(
//  Array("", "", "", -1660860558),
//  Array("", "", "", -1643214719),
//  Array("", "", "", -1206834289))

    Si vous n'êtes intéressés que dans les premiers résultats puis top et takeOrdered sont généralement préférés.

    import scala.math.Ordering

rdd.takeOrdered(2)(Ordering.by[Array[String], Int](_.apply(3).toInt))
//Array[Array[String]] = 
//  Array(Array("", "", "", -1660860558), Array("", "", "", -1643214719))

rdd.top(2)(Ordering.by[Array[String], Int](_.apply(3).toInt))
//Array[Array[String]] = 
//  Array(Array("", "", "", 1920955686), Array("", "", "", 1597012602))
    mais j'ai une question.. j'ai besoin de convertir des rdd dans tableau puis. .comment puis-je faire cela? parce que mon code restant dépend de tableau.
    Si vous voulez toutes les données le seul moyen est de recueillir. top et takeOrdered déjà renvoie un tableau.
    puis-je utiliser comme rdd.top(rdd.count())(Ordering.by[Array[String], Int](_.apply(3).toInt)) Afin que je puisse obtenir toutes les données
    Il ne fait pas de sens. top / takeOrdered sont supérieur que si vous avez besoin seulement d'une petite partie des données. Sinon sortBy suivie par collect est la bonne façon de faire.
    Oui, il retournera un tableau.

    OriginalL'auteur zero323

  2. 3

    Il est sortBy méthode de RDD (voir doc).
    Vous pouvez faire quelque chose comme ça 

    scoreTriplets.sortBy( _(3).toInt )

    OriginalL'auteur ponkin