Usecases pour mapred.travail.la file d'attente.nom
Ce sont le monde réel de cas d'utilisation sur l'utilisation de la carte de réduire les files d'attente c'est à dire la valeur de mapred.job.queue.name de la propriété. Je vois default être utilisée comme valeur toujours.
OriginalL'auteur Aravind R. Yarram | 2014-01-03
Vous devez vous connecter pour publier un commentaire.
mapred.travail.la file d'attente.le nom que vous utilisez pour affecter une tâche à une file d'attente particulière. Par défaut, tous les emplois vont "par défaut" de la file d'attente. Toutefois, il est possible de créer hiérarchique de la file d'attente. Comme la racine, racine.t1, de la racine.t1.q1a et ainsi de suite.
Chacune de ces files d'attente peut avoir son propre ensemble de caractéristiques pour assurer une certaine priorité.
Un scénario réel sera quand vous avez plusieurs intervenants demander des rapports sur le même ensemble de l'infrastructure. Par exemple, à mon lieu de travail , nous avons les données scientifique qui tente d'exécuter les différents type de travail de recherche, l'équipe de support client à la recherche pour divers quotidiens et hebdomadaires chiffres et puis il y a de vrais emplois qui prend en charge les affaires courantes. C'est au cœur que l'infrastructure doit être en mesure de soutenir du mieux qu'il peut.
Ayant de diverses files d'attente avec des priorités différentes juste le rend facile pour Hadoop pour décider quoi faire ensuite lorsqu'un processeur est disponible, ou combien il peut utiliser.
De sorte que les données scientifique à attribuer aux "Data Analyst" file d'attente, l'équipe de marketing attribue à la "Commercialisation" de la file d'attente. Il est possible de changer la priorité d'une file d'attente en fonction de l'heure de la journée.
Autre que la priorité, il définit également l'ordre d'exécution. Donc, si vous avez deux emplois dans une file d'attente. Jusqu'à ce que Tâche1 est fait ou ne fait rien dans Tâche1 qui peut utiliser le processeur disponibles, que Job2 coups de pied dans.
Avez-vous des idées sur le contrôle de la sécurité par le biais de la file d'attente? hadoop.apache.org/docs/r1.0.4/mapred-default.html
Seul aspect de la sécurité, je peux voir , vous pouvez le configurer de telle manière, que les emplois de l'utilisateur à partir d'Une volonté de toujours aller de Filea et des emplois de l'utilisateur B iront toujours à QueueB....si vous voulez considérer que comme n'importe quel niveau de sécurité. Aussi, il est possible qu'Un Utilisateur peut accéder qu'à Filea...
OriginalL'auteur javadevg
Le Map/reduce système soutient toujours au moins une file d'attente avec le nom par défaut. Par conséquent, la valeur de ce paramètre doit toujours contenir la chaîne de caractères par défaut. Certaines des planificateurs pris en charge dans Hadoop, comme la Capacité Planificateur de, soutien de plusieurs files d'attente. Si une telle planificateur est utilisé, la liste de configuration de la file d'attente des noms doit être spécifié ici. Une fois que les files d'attente sont définis, les utilisateurs peuvent soumettre des travaux à une file d'attente en utilisant le nom de la propriété mapred.travail.la file d'attente.nom dans le travail de configuration. Il pourrait y avoir un fichier de configuration pour la configuration des propriétés de ces files d'attente qui est géré par le planificateur. Reportez-vous à la documentation de l'ordonnanceur pour plus d'informations sur la même.
Ref: http://hadoop.apache.org/docs/r0.19.1/cluster_setup.html
OriginalL'auteur disizjay