Quand utiliser l'outil de Partitionnement de classe?

Quelqu'un peut-il suggérer des scénarios courants où Partitioner classe introduit dans .NET 4.0 peut/doit être utilisé?

InformationsquelleAutor Andrew Bezzub | 2010-10-27
  1. 31

    La Partitioner classe est utilisée pour faire les exécutions en parallèle plus trapu. Si vous avez un grand nombre de très petites tâches à exécuter en parallèle de la surcharge de l'appel des délégués pour chacune peut être prohibitif. En utilisant Partitioner, vous pouvez réorganiser la charge de travail en morceaux et ont chacun parallèle invocation de travail sur un légèrement plus grand ensemble. La classe des résumés de cette fonction et est en mesure de partition en fonction des conditions réelles de l'ensemble des données et les cœurs disponibles.

    Exemple: Imaginez que vous souhaitez exécuter un calcul simple comme ça en parallèle. 

    Parallel.ForEach(Input, (value, loopState, index) => { Result[index] = value*Math.PI; });

    Qui s'appelle le délégué de chaque entrée de l'Entrée. Le faire serait d'ajouter un peu de surcharge pour chaque. En utilisant Partitioner nous pouvons faire quelque chose comme ceci

    Parallel.ForEach(Partitioner.Create(0, Input.Length), range => {
   for (var index = range.Item1; index < range.Item2; index++) {
      Result[index] = Input[index]*Math.PI;
   }
});

    Cela permettra de réduire le nombre de invoque comme chaque invoquer va travailler sur un plus grand ensemble. Dans mon expérience, cela peut augmenter les performances de façon significative lors de la parallélisation des opérations très simples.

    • La valeur par défaut rangeSize est un outil de Partitionnement.Create(). Ainsi, la partition est la même pour les deux exemples de code. À Moins De Partitionnement.Créer(0, Entrée.Longueur, i), où i >1, il y aura toujours le même nombre de thread.
    • cela ne semble pas être correcte, au moins actuellement. J'ai trouver le défaut de partitionnement de la création de 24 morceaux sur mon 8 processeur de la machine. C'est beaucoup plus petite que la longueur de l'entrée. J' aurait, par exemple pour comprendre comment elle détermine cette valeur par défaut.
    InformationsquelleAutor Brian Rasmussen
  2. 2

    Pour paralléliser une opération sur une source de données, l'une des étapes essentielles est à la partition de la source en plusieurs sections qui peuvent être accessible simultanément par plusieurs threads. PLINQ et la Task Parallel Library (TPL) de fournir par défaut partitioners qui fonctionnent de manière transparente lorsque vous écrivez une requête parallèle ou boucle ForEach. Pour des configurations plus avancées, vous pouvez brancher votre propre outil de partitionnement.

    Lire plus ici:

    • J'ajouterais à cela: d'une manière générale vous ne pas l'utiliser. PLINQ n', et vous aurez probablement vous en sortir avec la valeur par défaut partitioners.
    InformationsquelleAutor QrystaL
  3. 2

    Gamme de partition, comme suggéré par Brian Rasmussen, est un type de partitionnement qui doit être utilisée lorsque le travail est intensif pour le CPU, tend à être de petite taille (par rapport à une méthode virtuelle d'appel), de nombreux éléments doivent être traités, et est pratiquement constante quand il s'agit de temps d'exécution par élément.

    L'autre type de partition qui doit être considéré est morceau de partitionnement. Ce type de partitionnement est également connu comme un algorithme d'équilibrage de charge, car un thread de travail rarement assis inactif alors qu'il n'y a plus de travail à faire - ce qui n'est pas le cas pour une gamme de partition.

    Un morceau de la partition doit être utilisé lorsque le travail est certains des états d'attente, a tendance à exiger plus de traitement par l'élément ou chaque élément peut avoir significativement différents temps de traitement.

    Un exemple de ceci pourrait être la lecture en mémoire et de traitement de 100 fichiers avec infiniment de différentes tailles. 1K fichier sera traitée en moins de temps qu'un fichier de 1 mo. Si une partition est utilisée pour cette, puis certains threads peuvent rester inactive pendant un certain temps parce qu'ils s'est passé à traiter des fichiers plus petits.

    Contrairement à une gamme de partition, il n'y a aucun moyen de spécifier le nombre d'éléments à traiter par chaque tâche - sauf si vous écrivez votre propre outil de partitionnement. Un autre inconvénient de l'utilisation d'un morceau de la partition est qu'il peut y avoir certains conflits quand il va revenir pour obtenir un autre morceau depuis un verrou exclusif est utilisé à ce stade. Donc, clairement un morceau de la partition ne doit pas être utilisée pour les petites quantités de PROCESSEUR travail intensif.

    La valeur par défaut morceau de partitionnement commence avec une taille de bloc de 1 élément par morceau. Après chaque thread processus de trois 1-élément morceaux, de la taille de segment est incrémenté de 2 éléments par morceau. Après trois 2-élément morceaux ont été traitées par chaque fil, puis la taille de segment est incrémenté de nouveau à 3 éléments par morceau, et ainsi de suite. C'est du moins la façon dont il fonctionne selon
    Dixin Yan, (voir le Morceau de partitionnement de l'article) qui travaille pour Microsoft.

    Par le chemin, la belle visualizer outil dans son blog semble être le La simultanéité de Visualisation du profil de l'outil. Le les docs pour cet outil prétendre qu'il peut être utilisé pour repérer les goulots d'étranglement des performances, le PROCESSEUR sous-utilisation, le fil de contention, de la croix-core fil de la migration, de la synchronisation des retards, DirectX activité, les zones de chevauchement d'e/S, et d'autres informations. Il fournit des graphiques, de tableaux, des données textuelles points de vue qui montrent les relations entre les threads dans une application et le système dans son ensemble.

    D'autres ressources:

    MSDN: Personnalisé Partitioners pour PLINQ et TPL

    Partie 5: Programmation Parallèle - l'Optimisation de PLINQ par Joseph Albahari

    InformationsquelleAutor Bob Bryan