Les différences entre MapReduce et de Fils

Voici les MapReduce 1.0 et MapReduce 2.0 (FILS)

MapReduce 1.0

Typique d'un cluster Hadoop, les casiers sont interconnectés via commutateurs principaux. Commutateurs principaux doivent se connecter à " top-of-rack commutateurs Entreprises utilisant Hadoop devraient envisager d'utiliser des 10 gbe, collé Ethernet redondants et top-of-rack commutateurs à atténuer les risques en cas de défaillance. Un fichier est divisé en 64 MO morceaux par défaut et distribué sur les Données des Nœuds. Chaque morceau a un défaut d'facteur de réplication de 3, ce qui signifie qu'il sera 3 exemplaires des données à un moment donné. Hadoop est “Rack” et HDFS a répliqué morceaux sur les nœuds sur différents supports. JobTracker assigner des tâches à des nœuds plus proche des données en fonction de la localisation de noeuds et d'aide à la NameNode déterminer la ‘proche’ morceau à un client pendant les lectures. L'administrateur fournit un script qui raconte Hadoop qui en rack, le noeud est dans la, par exemple: /enterprisedatacenter/rack2.

Limitations de MapReduce 1.0 – Hadoop peut accueillir jusqu'à 4 000 nœuds. Quand il dépasse cette limite, il soulève un comportement imprévisible comme une cascade de défaillances et de détérioration grave de l'état de l'ensemble du cluster. Un autre problème multi-location, – il est impossible d'exécuter d'autres cadres que MapReduce 1.0 sur un cluster Hadoop.

MapReduce 2.0

MapReduce 2.0 a deux composantes – FILS qui a de la ressource de cluster capacités de gestion et de MapReduce.

Dans MapReduce 2.0, le JobTracker est divisé en trois services:

1. ResourceManager, une persistance de la FIL service qui reçoit et exécute des applications sur le cluster. Un travail de MapReduce est une application.
2. JobHistoryServer, de fournir des informations sur les travaux terminés
3. Application Maître, à la gestion de chaque travail de MapReduce et se termine une fois le travail terminé.

TaskTracker a été remplacé par le NodeManager, un FIL service qui gère les ressources et le déploiement sur un nœud. NodeManager est responsable du lancement des conteneurs qui pourrait être soit une carte ou de réduire la tâche.

Cette nouvelle architecture des pauses JobTracker modèle en permettant à une nouvelle classe ResourceManager pour gérer l'utilisation des ressources à travers les applications, avec ApplicationMasters prendre la responsabilité de la gestion de l'exécution des travaux. Cette modification supprime un goulot d'étranglement et permet de clusters Hadoop à l'échelle pour les configurations plus importantes que 4000 nœuds. Cette architecture permet également l'exécution simultanée d'une variété de modèles de programmation tels que le graphe de traitement, traitement itératif, l'apprentissage automatique et générale de clusters de calcul, y compris le traditionnel MapReduce.

OriginalL'auteur Om Singh

Si pour la traine problème de vous dire que si le premier mec attend "quelque chose" qui provoque alors la plus attend le long d'une route qui dépend du premier mec, puis je pense qu'il y a toujours ce problème de M. emplois. L'obtention de l'allocation de ressources naturellement de participer à ce problème avec toutes les autres choses qui peuvent causer des composants d'attendre quelque chose.

Tez qui est censé être une chute en remplacement de M. exécution d'une tâche, fait les choses différemment. Au lieu de faire tâche s'exécute de la même manière actuelle de M. Appmaster ne il essaie d'utiliser la DAG de tâches, ce qui est beaucoup mieux de ne pas entrer dans de mauvaises traine problème.

Vous avez besoin de comprendre une relation entre m et de FILS. Le FIL est simplement un mannequin resource scheduler sens il n'a pas d'horaire de 'tâches'. Ce qu'il donne à M. Appmaster est un jeu ou de ressources(dans un sens, c'est seulement la combinaison de mémoire et de cpu et de l'emplacement). C'est ensuite M. Appmaster la responsabilité de décider quoi faire avec ces ressources.

OriginalL'auteur Janne Valkealahti