Kafka : Comment connecter kafka-console-consommateur pour aller chercher distance courtier contenu de la rubrique?

J'ai de l'installation d'un kafka zookeeper et 3 courtiers sur une machine sur ec2 avec les ports 9092..9094 et suis en train de consommer le contenu de la rubrique à partir d'une autre machine. Les ports 2181 (zk), 9092, 9093 et 9094 (serveurs) sont ouvertes à la consommation de la machine. Je peux même faire un bin/kafka-topics.sh --describe --zookeeper 172.X.X.X:2181 --topic remotetopic qui me donne

Sujet:remotetopic PartitionCount:1 ReplicationFactor:3 Configs:
Sujet: remotetopic Partition: 0 Dirigeant: 2 Répliques: 2,0,1 Isr: 2,0,1
Blockquote

Cependant quand je fais bin/kafka-console-consumer.sh --zookeeper 172.X.X.X:2181 --from-beginning --topic remotetopic - je obtenir

AVERTIR au sujet de l'Extraction de métadonnées avec l'identifiant de corrélation de 0 pour les topics [Set(remotetopic)] à partir de courtier [id:0,hôte:localhost,port:9092] a échoué (kafka.client.ClientUtils$)
java.nio.les canaux.ClosedChannelException

Pourquoi le consommateur à essayer de lire à partir de localhost? Est-il une option ou ligne de commande ou de fichier par défaut lorsqu'il est lu, et je peux le changer?

Toute aide serait appréciée!

OriginalL'auteur rai | 2015-11-07

  1. 7

    Eu le même problème. Il fixe en définissant la propriété " annoncé.de l'hôte.nom' comme indiqué par les commentaires dans le kafka de configuration (config/serveur.les propriétés), et le redémarrage de l'kafka serveur.

    "annoncés.de l'hôte.nom = localhost" remplacer "localhost" avec mon adresse ip..merci

    OriginalL'auteur r2d3

  2. 4

    J'ai eu le même problème , je suis en utilisant kafka 0.11 et j'ai commencé les producteurs et les courtiers dans ma machine virtuelle Ubuntu et le consommateur dans Windows 10.

    J'avais changé (et sans commentaire)

    advertised.listeners=PLAINTEXT://your.host.name:9092

    à 

    advertised.listeners=PLAINTEXT://<myActual IP address>:9092

    exemple:

    advertised.listeners=PLAINTEXT://192.168.150.150:9092

    à partir d'un fichier config/serveur.propriétés au serveur/courtier côté (c'est à dire dans mon cas, c'était de machine virtuelle Ubuntu)

    OriginalL'auteur Sukumaar

  3. 2

    J'ai créé un script python qui permet d'accéder à kafka/zookeeper via le tunnel ssh pour consommer et de produire des messages à partir de votre ordinateur local.

    Compatible pour Linux & Mac

    Usage: kafkatunnel.py [OPTIONS] COMMAND [ARGS]...

  Access kafka/zookeeper via ssh tunnel to consume and produce messages from
  your local machine

Commands:
  aws     retrieve kafka/zookeeper ip's from AWS...
  manual  provide the IP's of your zookeeper/kafka

    essayer:
    https://github.com/simple-machines/kafka-tunnel

    OriginalL'auteur Felix

  4. 0

    J'ai d'installation de Kafka et de Gardienne d'animaux dans un même (et même plus complexe) de l'arrangement et de l'kafka-console-consumer.sh fonctionne comme annoncé.

    C'est très probablement un mal configuré, Kafka instance (qui précise ses zookeeper nœuds dans la configuration du serveur).

    Vérifier le Kafka de configuration. Par défaut si la gardienne d'animaux instances ne sont PAS précisées, cela suppose un singulier localhost instance. Sinon, le serveur".1" ... 2 etc convention doit être utilisé pour définir le zookeeper instances (un minimum de trois recommandée/nécessaire pour obtenir une bonne quorum).

    OriginalL'auteur Darrell Teague