Spark + EMR utilisant le paramètre "MaximResourceAllocation" d'Amazon n'utilise pas tous les cœurs / vcores

Je suis à court d'un système de DME cluster (version dme-4.2.0) pour Allumage à l'aide de l'Amazonie spécifiques maximizeResourceAllocation drapeau comme documenté ici. Selon ces documents, "cette option calcule le maximum de calcul et de mémoire de ressources disponibles pour un exécuteur testamentaire sur un nœud dans le noyau du groupe de nœuds et de définir le correspondant de l'étincelle-paramètres par défaut avec cette information".

Je suis l'exécution du cluster à l'aide de m3.2xlarge cas pour les nœuds de travail. Je suis à l'aide d'un seul m3.xlarge pour les FILS de maître - la plus petite m3 exemple je peux l'obtenir pour fonctionner sur, car il ne fait pas beaucoup.

La situation est ceci: Quand je lance une Étincelle d'emploi, le nombre de demandes de cœurs pour chaque exécuteur testamentaire est 8. (J'ai seulement eu cette après la configuration "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalculator" qui n'est pas dans la documentation, mais je m'égare). Ceci semble logique, parce que, selon ces docs une m3.2xlarge a 8 "vcpu". Cependant, sur les instances réelles eux-mêmes, dans /etc/hadoop/conf/yarn-site.xmlchaque nœud est configuré pour avoir yarn.nodemanager.resource.cpu-vcores ensemble de 16. Je voudrais (au jugé) pense que cela doit être dû à l'hyperthreading ou peut-être quelques autres matériel fanciness.

Donc, le problème, c'est que lorsque j'utilise maximizeResourceAllocationj'obtiens le nombre de vcpu" que l'Amazone Instance de type a, qui ne semble être que la moitié du nombre de configuré "VCores" que le FIL est en cours d'exécution sur le nœud; en conséquence, l'exécuteur testamentaire est en utilisant seulement la moitié de l'effectif des ressources de calcul sur l'instance.

Est-ce un bug Amazon EMR? Autres personnes rencontrant le même problème? Est-il un autre magie sans-papiers configuration que je suis absent?

source d'informationauteur retnuH