Comment mettre en œuvre le tri dans hadoop?

Vous pouvez probablement le faire (je suis en supposant que vous utilisez Java ici)

À partir de cartes émettent, ce

context.write(24,1);
context.write(4,3);
context.write(12,4)
context.write(23,5)

Alors, vous les valeurs qui doit être triée devrait être la clé dans votre travail de mapreduce.
Hadoop par défaut tri par ordre croissant des clés.

Donc, soit vous faites cela pour trier dans l'ordre décroissant,

job.setSortComparatorClass(LongWritable.DecreasingComparator.class);

Ou, ce,

Vous avez besoin de personnaliser le Tri dans l'ordre Décroissant de Comparaison, ce qui va quelque chose comme ceci dans votre travail.

public static class DescendingKeyComparator extends WritableComparator {
    protected DescendingKeyComparator() {
        super(Text.class, true);
    }

    @SuppressWarnings("rawtypes")
    @Override
    public int compare(WritableComparable w1, WritableComparable w2) {
        LongWritable key1 = (LongWritable) w1;
        LongWritable key2 = (LongWritable) w2;          
        return -1 * key1.compareTo(key2);
    }
}

Le suffle et de tri phase dans Hadoop va prendre soin de trier vos clés dans l'ordre décroissant 24,4,12,23

Après le commentaire:

Si vous avez besoin d'un Descendant IntWritable Comparable, vous pouvez en créer un et de l'utiliser comme ceci -

job.setSortComparatorClass(DescendingIntComparable.class);

Dans le cas où si vous utilisez JobConf, utilisez cette fonction pour définir

jobConfObject.setOutputKeyComparatorClass(DescendingIntComparable.class);

Placer le code ci-dessous votre main() fonction -

public static void main(String[] args) {
    int exitCode = ToolRunner.run(new YourDriver(), args);
    System.exit(exitCode);
}

//this class is defined outside of main not inside
public static class DescendingIntWritableComparable extends IntWritable {
    /** A decreasing Comparator optimized for IntWritable. */ 
    public static class DecreasingComparator extends Comparator {
        public int compare(WritableComparable a, WritableComparable b) {
            return -super.compare(a, b);
        }
        public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {
            return -super.compare(b1, s1, l1, b2, s2, l2);
        }
    }
}