Tri par valeur dans Hadoop à partir d'un fichier

Vous pourriez organiser votre map/reduce calcul comme ceci:

Carte d'entrée: par défaut

Sortie de carte: "la clé: numéro de valeur: le mot"

_ phase de tri sélectif par clé _

Ici, vous aurez besoin de remplacer la valeur par défaut trieur pour trier dans l'ordre décroissant.

Réduire - 1 réducteur de

Réduire d'entrée: "la clé: numéro de valeur: le mot"

De réduire la production: "la clé: word, valeur: (numéro, grade)"

Garder un compteur global. Pour chaque paire clé-valeur ajouter le rang en incrémentant le compteur.

Modifier: Voici un code ciselée d'une coutume descendant trieur:

public static class IntComparator extends WritableComparator {

    public IntComparator() {
        super(IntWritable.class);
    }

    @Override
    public int compare(byte[] b1, int s1, int l1,
            byte[] b2, int s2, int l2) {

        Integer v1 = ByteBuffer.wrap(b1, s1, l1).getInt();
        Integer v2 = ByteBuffer.wrap(b2, s2, l2).getInt();

        return v1.compareTo(v2) * (-1);
    }
}

N'oubliez pas de fait le définir comme le comparateur pour votre travail:

job.setSortComparatorClass(IntComparator.class);

OriginalL'auteur Tudor

J'ai trouvé la solution à ce problème. C'était simple en fait.

Pour le tri par valeur, vous devez utiliser

setOutputValueGroupingComparator(Class)

Pour le tri dans l'ordre décroissant, vous devez utiliser setSortComparatorClass(LongWritable.DecreasingComparator.class);

Pour le classement, vous devez utiliser
Counter class, getCounter et increment fonction.

OriginalL'auteur Deepika Sethi