Quelles sont les différences entre le Tri de Comparaison et le Groupe de Comparaison dans Hadoop?
Quelles sont les différences entre Sorte Comparateur de et Groupe de Comparaison dans Hadoop?
OriginalL'auteur user2314193 | 2013-04-24
Vous devez vous connecter pour publier un commentaire.
À comprendre GroupComparator, voir ma réponse à cette question -
Qu'est-ce que l'utilisation du regroupement comparateur de hadoop map réduire
SortComparator:Utilisée pour définir la carte de sortie touches sont triés
Extraits du livre Hadoop - Guide Définitif:
Ordre de tri pour les clés est trouvé comme suit:
Si la propriété
mapred.output.key.comparator.class
est définie, que ce soit explicitement ou parl'appel de
setSortComparatorClass()
sur l'Emploi, alors une instance de cette classe est utilisée. (Enl'ancienne API, l'équivalent de la méthode est
setOutputKeyComparatorClass()
surJobConf
.)Sinon, les touches doivent être une sous-classe de
WritableComparable
, et le régime enregistré d'comparateur pour la classe de clé est utilisé.
Si il n'y a pas enregistré de comparaison, puis un
RawComparator
est utilisé que désérialisel'octet de flux par rapport à des objets et les délégués à la
WritableComparable
’scompareTo()
méthode.SortComparator Vs GroupComparator en une seule ligne:
SortComparator
décide de la façon de sortie map touches sont triés tandis queGroupComparator
décide de la carte de sortie de touches dans le Réducteur d'aller à la même de réduire l'appel de la méthode.OriginalL'auteur Eswara Reddy Adapa
Groupe de Comparaison décide de la carte de sortie touches sera-unis(regroupés) dans l'une des clés, et bien sûr toutes les collections de valeurs seront regroupés trop. Habituellement, cela prend une première clé le seul pour le résumé de la collecte.
SortComparator décide de la façon dont les clés seront triés dans entrée de réduire. Par défaut, il utilise l'ordre naturel.
OriginalL'auteur mger