Quelle est la différence entre le juste et la capacité des planificateurs?
Je suis nouveau dans le monde de Hadoop et que vous voulez savoir la différence entre le juste et la capacité des planificateurs. Aussi quand sommes-nous censés les utiliser? Merci de donner une réponse simple, car j'ai lu beaucoup de choses sur Internet mais je n'ai pas beaucoup d'eux.
OriginalL'auteur Flowra | 2014-10-24
Vous devez vous connecter pour publier un commentaire.
Juste de planification est une méthode de l'affectation des ressources aux emplois de sorte que toutes les tâches soient, en moyenne, une part égale des ressources au fil du temps. Quand il y a une seule tâche en cours d'exécution, ce travail utilise l'ensemble du cluster. Lorsque d'autres travaux sont soumis, les tâches de machines à sous qui gratuit jusqu'sont attribuées aux nouveaux emplois, de sorte que chaque travail est à peu près la même quantité de temps CPU. Contrairement à la valeur par défaut Hadoop scheduler, qui forme une file d'attente de travaux, il laisse les petits travaux de finition dans un délai raisonnable tout en ne meurent pas de faim long des emplois. C'est aussi un moyen raisonnable de partager un cluster entre un certain nombre d'utilisateurs. Enfin, un partage équitable peut aussi travailler avec les priorités des tâches - les priorités sont utilisés comme poids pour déterminer la fraction du total des temps de calcul que chaque poste doit obtenir.
La CapacityScheduler est conçu pour permettre le partage d'un grand groupe tout en donnant à chaque organisation d'une capacité minimale garantie. L'idée centrale est que les ressources disponibles dans les Hadoop Map-reduce cluster sont répartis entre de nombreux organismes qui, collectivement, fonds du cluster basé sur le calcul des besoins. Il y a un avantage supplémentaire qu'une organisation peut accéder à toutes les capacités excédentaires pas être utilisé par d'autres. Cette offre élasticité pour les organisations dans une manière rentable.
vous avez raison ,la capacité de planificateur essaye de simuler un distinct FIFO/priorité cluster pour chaque utilisateur et chaque organisation, plutôt que de procéder à un partage équitable entre tous les emplois. La Capacité Planificateur prend également en charge la configuration d'un temps d'attente sur chaque file d'attente après lequel il est permis de devancer les autres files d'attente de tâches si elle est en dessous de sa juste part.
Vous devez mentionner la source lorsque le copier-coller... iosrjournals.org/iosr-jce/papers/Vol15-issue1/...
Le
CapacityScheduler
ne prend pas en charge la préemption. hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/... dit (en vertu de l'Élasticité de la rubrique) "Quand il y a de la demande pour ces ressources à partir de files d'attente de l'exécution d'une capacité inférieure à un certain moment dans le futur, à mesure que les tâches planifiées sur ces ressources terminée, ils seront affectés à des applications sur les files d'attente inférieur à la capacité (de préemption n'est pas pris en charge)."OriginalL'auteur user3484461
Ci-dessous est la fonctionnalité-sage, la comparaison des deux planificateurs.
OriginalL'auteur Vikas Singh
Fair Scheduler, Alloue des ressources piscines ( par poids), avec un partage équitable au sein de chaque bassin
Capacité Planificateur, Alloue des ressources pour les piscines, avec FIFO de planification au sein de chaque bassin
La Capacité Planificateur est conçu pour permettre le partage d'un grand groupe tout en donnant à chacun la capacité de l'organisation de garanties. avec la possibilité d'un excès de capacité de ne pas être utilisé par d'autres.
OriginalL'auteur Mehdi TAZI