Que signifie "Rééquilibrage" dans le contexte d'Apache Kafka?
Je suis un nouvel utilisateur de Kafka et ont procédé à des essais pendant environ 2-3 semaines maintenant. Je crois que pour le moment j'ai une bonne compréhension de la façon dont Kafka, œuvres, pour la plupart, mais après la tentative d'ajustement de l'API pour mon propre Kafka à la consommation (ce qui est obscur, mais je suis en suivant les lignes directrices pour la nouvelle KafkaConsumer qui est censé être disponible pour v 0.9, qui est sur le "tronc" repo atm) j'ai eu des problèmes de latence qui consomment un sujet si j'ai plusieurs consommateurs avec le même id de groupe.
Dans cette configuration, ma console régulièrement les journaux de questions pour un rééquilibrage de déclenchement'. Ne rééquilibre se produire lorsque j'ai ajouter de nouveaux consommateurs à un groupe de consommateurs et sont-ils déclenchés afin de comprendre le consommateur instance dans le même groupID obtenez les partitions ou sont rééquilibre utilisé pour tout autre chose?
Je suis aussi tombée sur ce passage de https://cwiki.apache.org/confluence/display/KAFKA/Kafka+0.9+Consommation+Réécriture+Design et je n'arrive pas à comprendre, donc si quelqu'un pouvait m'aider à faire sens de ce qui serait très apprécié:
Rééquilibrage est le processus par lequel un groupe de consommateurs instances
(appartenant au même groupe) de coordonner, de posséder une mutuellement exclusifs
ensemble de partitions de sujets que le groupe a souscrit. À l'
fin de réussite de rééquilibrer le fonctionnement d'un groupe de consommateurs, tous les
partition pour toutes souscrites sujets sera détenue par un seul consommateur
exemple au sein du groupe. La voie de rééquilibrage des œuvres est comme suit.
Chaque courtier est élu en tant que coordonnateur pour un sous-ensemble de la
les groupes de consommateurs. Le coordonnateur de courtier pour un groupe est responsable
pour orchestrer un rééquilibrage de l'opération sur la consommation, l'appartenance à un groupe
les changements de partition ou des modifications de la liste des sujets. Il est également
responsable de la communication de la partition résultante de la propriété
configuration de tous les consommateurs du groupe subissant un rééquilibrage
le fonctionnement.
source d'informationauteur Jeff Gong
Vous devez vous connecter pour publier un commentaire.
Lorsque le consommateur se joint à un groupe de consommateurs dans l'ensemble des consommateurs tentative de "rééquilibrer" la charge d'attribuer les partitions pour chaque consommateur. Si l'ensemble des consommateurs des modifications lors de cette mission, c'est le rééquilibrage va échouer et recommencer. Ce paramètre contrôle le nombre maximal de tentatives avant d'abandonner.
la commande est: rééquilibrer.max.les tentatives et est fixé à 4 par défaut.
il peut aussi se produire si les conditions suivantes sont remplies:
ZooKeeper d'expiration de la session. Si le consommateur n'a pas de battement de coeur de ZooKeeper pour cette période de temps, il est considéré comme mort et un rééquilibrage va se produire.
Espérons que cette aide!
Chaque consommateur dans un groupe de consommateurs est affecté à un ou plusieurs rubrique partitions exclusivement, et Rééquilibrer est la ré-attribution de la partition de la propriété chez les consommateurs.
Un Rééquilibrer se produit quand:
Être un coordinateur du groupe (un des courtiers dans le cluster) et un chef de groupe (le premier consommateur qui se joint à un groupe), désignés pour un groupe de consommateurs, Rééquilibrer peut être plus ou moins décrite comme suit:
coordinateur du groupe (cela inclut tous les consommateurs qui ont envoyé un
battement de coeur récemment et qui sont donc considérés comme vivant) et est
responsable de l'attribution d'un sous-ensemble de partitions à chaque consommateur.
la liste des affectations à l' coordinateur du groupe, qui envoie cette
information à tous les consommateurs.
Cela s'applique à Kafka 0.9, mais je suis tout à fait sûr pour les versions plus récentes est toujours valide.