Kafka consommateur liste

J'ai besoin de trouver un moyen de demander à Kafka pour une liste de sujets. Je sais que je peux le faire en utilisant les kafka-topics.sh script inclus dans le bin\ répertoire. Une fois que j'ai cette liste, j'ai besoin de tous les consommateurs, par thème. Je ne pouvais pas trouver un script dans le répertoire, ni d'une classe de l' kafka-consumer-api de bibliothèque qui me permet de le faire.

La raison derrière cela est que j'ai besoin de comprendre la différence entre le sujet de l'offset et les consommateurs, les décalages.

Est-il un moyen pour y parvenir? Ou ai-je besoin pour implémenter cette fonctionnalité dans chacun de mes consommateurs?

OriginalL'auteur Tavo | 2015-09-21

  1. 3

    Kafka stocke toutes les informations de la gardienne. Vous pouvez voir toute la rubrique informations connexes en vertu de courtiers->sujets. Si vous souhaitez obtenir tous les thèmes par programmation, vous pouvez le faire en utilisant la Gardienne de l'API.

    Il est expliqué en détail dans les liens ci-dessous
    Tutorialspoint, Zookeeper Programmeur guide

    C'est en fait incorrect dans les versions plus récentes de Kafka. La gardienne n'est plus utilisé pour stocker les offsets. Les décalages sont stockées dans Kafka lui-même, spécialement nommé sujets

    OriginalL'auteur Prasad

  2. 40

    Utilisation kafka-consumer-groups.sh

    Par exemple

    bin/kafka-consumer-groups.sh  --list --bootstrap-server localhost:9092

bin/kafka-consumer-groups.sh --describe --group mygroup --bootstrap-server localhost:9092
    nous devrions utiliser --zookeeper pas-bootstrap-serveur
    0.9.0.0 version
    mais 0.9.0.0 n'est pas une ancienne version de kafka 🙂
    bin/kafka-consumer-groups.sh --liste --zookeeper localhost:2181 Remarque: Ceci permet d'afficher uniquement les informations sur les consommateurs qui utilisent ZooKeeper (pas ceux à l'aide de la Java des consommateurs de l'API). bin/kafka-consumer-groups.sh --liste --bootstrap-serveur localhost:9092 Remarque: Ceci permet d'afficher uniquement les informations sur les consommateurs qui utilisent Java à la consommation de l'API (non-ZooKeeper à base de consommateurs).
    Le groupe des consommateurs de commande de liste de la liste de tous les groupes de consommateurs dans le cluster, mais est-il possible d'afficher les groupes de consommateurs pour sujet spécifique?

    OriginalL'auteur Basanth Roy

  3. 10

    vous pouvez l'utiliser pour 0.9.0.0. version kafka

    ./kafka-consumer-groups.sh --list --zookeeper hostname:potnumber

    pour afficher les groupes que vous avez créés. Cela permet d'afficher la consommation des noms de groupe.

     ./kafka-consumer-groups.sh --describe --zookeeper hostname:potnumber  --describe  --group consumer_group_name

    Pour afficher les détails 

    GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER

    OriginalL'auteur jack AKA karthik

  4. 1

    De haut niveau, les consommateurs sont enregistrés dans Zookeeper, de sorte que vous pouvez récupérer une liste de ZK, de la même façon kafka-topics.sh extrait de la liste des sujets. Je ne pense pas qu'il y a un moyen de collecter des tous consommateurs; toute demande d'envoi dans quelques consommer des demandes est en fait un "consommateur", et on ne peut pas dire qu'elles sont déjà.

    Du côté du consommateur, il y a un JMX métrique exposés à surveiller le gal: http://docs.confluent.io/1.0.1/kafka/monitoring.html#consumer-metrics . Aussi, il est Terrier lag de surveillance.

    OriginalL'auteur sandris