comment régler l'indice de parallélisme dans la tempête

"parallélisme soupçon" est utilisé dans la tempête de paralléliser l'exécution d'un tempête de topologie. Je sais qu'il y a des concepts comme processus de travail, de l'exécuteur testamentaire et de tâches. Serait-il judicieux de faire le parallélisme pointe aussi grand que possible de sorte que votre topologies sont paralléliser autant que possible?

Ma question est de savoir Comment trouver un parfait parallélisme de l'indice nombre de mes tempête de topologies. Est-il selon l'échelle de ma tempête de cluster ou c'est plus comme une topologie/emploi réglage spécifique, qui varie d'une topologie à l'autre? ou cela dépend des deux?

source d'informationauteur Shengjie

apache-storm parallel-processing

18

En ajoutant à ce que @Chiron a expliqué

"parallélisme soupçon" est utilisé dans la tempête de paralléliser l'exécution d'un orage topologie

En fait dans la tempête, le terme parallelism hint est utilisé pour spécifier le nombre initial de l'exécuteur testamentaire (threads) d'un composant (bec verseur, boulon) e.g
```
    topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
```
La déclaration ci-dessus indique la tempête d'attribuer 2 exécuteur thread dans un premier temps (cela peut être modifié dans le temps d'exécution). Nouveau
```
    topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4) 
```
la setNumTasks(4) indiquer pour exécuter 4 tâches associées (ce sera le même tout au long de la durée de vie d'une topologie). Dans ce cas, chaque tempête sera l'exécution de deux tâches par l'exécuteur testamentaire. Par défaut, le nombre de tâches est défini pour être le même que le nombre des exécutants, c'est à dire Tempête va exécuter une tâche par thread.

Serait-il judicieux de faire le parallélisme pointe aussi grand que possible de sorte que votre topologies sont paralléliser autant que possible

Un clé chose à noter, que si vous avez l'intention d'exécuter plusieurs tâches par exécuteur, il n'augmente pas le niveau de parallélisme. Parce que l'exécuteur testamentaire utilise un seul thread pour traiter toutes les tâches que je.e les tâches sont exécutées en série sur un exécuteur testamentaire.

Le but de la configuration de plus de 1 tâche par l'exécuteur testamentaire est qu'il est possible de changer le numéro de l'exécuteur testamentaire(fil) à l'aide de la re-mécanisme d'équilibrage dans le moteur d'exécution (rappelez-vous le nombre de tâches sont toujours les mêmes à travers le cycle de vie d'une topologie), tandis que la topologie est toujours en cours d'exécution.

L'augmentation du nombre de travailleurs (responsable pour l'exécution d'un ou plusieurs exécuteurs testamentaires pour un ou plusieurs composants) peut aussi vous donne un avantage en termes de performances, mais c'est aussi relative que j'ai trouvé de cette discussion où nathanmarz dit

Avoir plus de travailleurs pourrait ont de meilleures performances, selon l'endroit où votre goulet d'étranglement. Chaque travailleur a un seul fil qui passe de n-uplets sur le 0mq connexions pour le transfert à d'autres travailleurs, donc si vous êtes un goulot d'étranglement sur CPU et de chaque travailleur est occupé avec beaucoup de tuples, plus les travailleurs seront probablement net vous un meilleur débit.

Donc, fondamentalement, il n'y a pas de réponse précise à cela, vous devriez essayer de configuration différente en fonction de votre environnement et de design.
10

Une bonne astuce pour analyser le besoin de paralelism dans votre Tempête topologie est d'utiliser les paramètres de la Tempête de l'INTERFACE utilisateur:

La Tempête de l'INTERFACE utilisateur a également été nettement plus utile. Il y a
nouvelles stats "#exécuté", "exécuter latence", et la "capacité" d'un suivi pour les
tous les boulons. De la "capacité" métrique est très utile et vous indique quel est le pourcentage de
du temps dans les 10 dernières minutes le boulon passé à l'exécution de n-uplets. Si
cette valeur est proche de 1, alors que le boulon est "à pleine capacité" et est un
goulot d'étranglement dans votre topologie. La solution à la capacité des boulons est de
augmenter le parallélisme de boulon. (...)

Source: https://storm.incubator.apache.org/2013/01/11/storm082-released.html
2

Comment trouver le parfait parallélisme indicateur nombre? Je dirais que votre meilleur pari est d'essayer différents nombres pour trouver votre configuration adaptée. Chaque topologie est différent.

Par exemple, votre topologie peut interagir avec une API REST, SGBDR, Solr, ElasticSearch ou quoi que ce soit et l'un de ceux qui pourrait être votre goulot de bouteille. Si vous avez augmenté le parallélisme de l'indice, vous pourriez apporter l'un d'eux à ses genoux et commencent à lancer des exceptions ou quoi que ce soit.

Votre meilleur pari est d'essayer différentes de la configuration et de la tune pour trouver votre meilleur parallélisme soupçon.

Vous devez vous connecter pour publier un commentaire.