Créer plusieurs consommateurs dans Kafka en ligne de commande

Je suis nouveau dans Kafka. Quand je courais le démarrage rapide exemple en ligne de commande, j'ai constaté que je ne peux pas créer plusieurs consommateurs en ligne de commande.

Condition:

J'ai construit un topic nommé test avec 3 partitions, et j'ai aussi construit un producteur sur ce sujet.

Puis j'ai voulu créer deux différents consommateurs partageant un même consommateur-groupe nommé test1 sur ce sujet.

J'ai exécuté la commande comme ci-dessous deux fois:

   bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --group test1

Le premier a fonctionné, mais quand j'ai couru la deuxième fois que le premier serait de le déconnecter et le second a travaillé.

Alors, comment puis-je créer deux ou plus de consommateurs dans un même groupe de consommateurs en ligne de commande?

    WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1146)

Pas tout à fait la réponse à votre question... mais vous pouvez exécuter la commande sans aucun argument pour obtenir de l'aide sur la commande. Peut-être que pourrait faire la lumière sur le problème.
Mais si vous pouvez l'obtenir pour le travail, vous aurez à spécifier les partitions sont lus par les clients que vous ne pouvez pas avoir deux clients d'un même groupe de lecture à partir de la même partition.
la gardienne du port ou de l'accueil que vous utilisez doit être probablement pas et runnning.

OriginalL'auteur user3526640 | 2014-10-09

apache-kafka

17
1. Par défaut, kafka-console-consumer.sh va créer un groupe aléatoire.
2. Si vous souhaitez spécifier le nom du groupe, vous pouvez:
  1. Ajouter group.id=group_name à un fichier local filename
  2. Utilisation --consumer.config filename option de kafka-console-consumer.sh à l'ensemble du groupe
3. Vous pouvez vérifier vos groupes gardien de zoo /consumers/ répertoire.
Consulter: kafka/base/src/main/scala/kafka/outils/ConsoleConsumer.scala

OriginalL'auteur secfree
17

Outre l'utilisation de --consumer.config option comme le secfree réponse, vous pouvez également utiliser

--consumer-property group.id=your_group

option pour spécifier un nom de groupe sans avoir à éditer le fichier de configuration.

OriginalL'auteur Joey
6

Vous pouvez utiliser la commande ci-dessous pour créer les consommateurs dans le groupe "test-consommation-groupe" à "test", rubrique:
```
bin/kafka-console-consumer.sh --bootstrap-server <brokerIP>:9092 --topic test --consumer-property group.id=test-consumer-group
```
Commande ci-dessous liste les consommateurs de configuration de groupe:
```
bin/kafka-consumer-groups.sh --bootstrap-server <brokerIP>:9092 --describe --group test-consumer-group
```
Par exemple:
```
GROUP || TOPIC || PARTITION || CURRENT-OFFSET || LOG-END-OFFSET || LAG      || OWNER
test-consumer-group || test || 0 || 10 || 10 || 0 || consumer-1_/10.210.223.170
```
pour la version de kafka est-ce utilisé pour, cela ne fonctionne pas pour moi de 0.9.0.1 version kafka
c'est avec kafka_2.11-0.9.0.1 , quelle est l'erreur que vous voyez?

OriginalL'auteur Ashwini Kumar

utiliser ceci:

--partition <Integer: partition>        The partition to consume from.

OriginalL'auteur Tapan Kumar

0

Lorsque vous consommez de Sujet sans groupid Kafka créer aléatoire groupid pour votre session.
Vous pouvez spécifier l'id de groupe --consommateur-groupe de la propriété.id=test-consommation-groupe si groupid existent
ou
vous pouvez ajouter à votre session new groupid(nom) lorsque vous consommez si le groupe existe pas
--deuxième sujet-sujet --groupe mon-premier-groupe de p
et Kafka va créer un nouveau groupe

OriginalL'auteur Rudy

Vous devez vous connecter pour publier un commentaire.