Kafka démarrage échoue avec zookeeper délai d'attente (serveur distant), mais la machine peut se connecter à zookeeper directement

Quand j'ai commencer à kafka, il ne parvient pas rapidement, tout en se plaignant qu'il ne peut pas se connecter à la gardienne. Je suis en cours d'exécution zookeeper autonome cluster/ensemble. Je suis confus car il n'y a pas de Pare-feu entre les serveurs (comme en témoigne la zookeeper-shell.sh de test).

de /var/log/kafka/serveur.journal

2016-02-24 16:07:12,101 INFO kafka.server.KafkaServer: [Kafka Server 1], Connecting to zookeeper on 10.7.20.100:2181,10.7.20.101:2181,10.7.20.102:2181
2016-02-24 16:07:20,291 FATAL kafka.server.KafkaServerStartable: Fatal error during KafkaServerStable startup. Prepare to shutdown
org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 6000
    at org.I0Itec.zkclient.ZkClient.connect(ZkClient.java:880)
    at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:98)
    at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:84)
    at kafka.server.KafkaServer.initZk(KafkaServer.scala:113)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:69)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:34)
    at kafka.Kafka$.main(Kafka.scala:46)
    at kafka.Kafka.main(Kafka.scala)
2016-02-24 16:07:20,294 INFO kafka.server.KafkaServer: [Kafka Server 1], shutting down
2016-02-24 16:07:20,312 INFO kafka.server.KafkaServer: [Kafka Server 1], shut down completed
2016-02-24 16:07:20,317 INFO kafka.server.KafkaServer: [Kafka Server 1], shutting down

Cependant, à partir de /opt/kafka répertoire d'installation je suis en mesure de se connecter à la gardienne à l'aide de l'esemble chaîne de connexion, donc je doute vraiment qu'elle est en réseau OU pare-feu.

[me@dckafka01 kafka]$ cd /opt/kafka
[me@dckafka01 kafka]$ bin/zookeeper-shell.sh 10.7.20.100:2181,10.7.20.101:2181,10.7.20.102:2181

Connecting to 10.7.20.100:2181,10.7.20.101:2181,10.7.20.102:2181
Welcome to ZooKeeper!
JLine support is disabled
WATCHER::WatchedEvent state:SyncConnected type:None path:null

get /blah
null
cZxid = 0x400000009
ctime = Tue Feb 16 09:00:28 EST 2016
mZxid = 0x400000009
mtime = Tue Feb 16 09:00:28 EST 2016
pZxid = 0x40000017e
cversion = 2
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

ls /blah
[applications, registry]

Qui est comme prévu. Quelqu'un at-il un angle pour moi d'enquêter?

OriginalL'auteur akaphenom | 2016-02-24

  1. 4

    Bien changer le délai d'attente a aidé. maintenant, j'ai besoin de chasser les retards de réseau en bas

    chat config/serveur.propriétés 

    # coding: UTF-8 
# This file created by Chef from template. Do not hand edit this file

log.dirs=/var/kafka
port=9092
num.partitions=4
default.replication.factor=3
log.flush.interval.messages=1
log.retention.minutes=43200
log.retention.check.interval.ms=3600000
num.replica.fetchers=4
replica.fetch.wait.max.ms=5000
replica.lag.max.messages=10000
auto.leader.rebalance.enable=true
num.network.threads=8
advertised.host.name=10.7.20.71
zookeeper.connection.timeout.ms=16000
broker.id=1
zookeeper.connect=10.7.20.100:2181,10.7.20.101:2181,10.7.20.102:2181
    Avez-vous réussi à trouver une raison pourquoi votre kafka a été timeouting?
    malheureusement, aucune
    Dans mon cas, j'ai remarqué à chaque fois que j'ai gardé Kafka inactif, il a utilisé le temps de temporisation, et se reconnecte pas
    Quelle est la version de Kafka avez-vous vu cela avec, et vous êtes au courant du problème documenté dans un JIRA problème?

    OriginalL'auteur akaphenom

  2. 0

    J'ai trouvé ce fil, en cherchant une solution à mon problème spécifique avec Kafka ne pas être en mesure de se connecter à la Gardienne. Dans votre cas, je pense que c'est seulement un retard dans Zookeeper pour le démarrage et préparez-vous à recevoir des connexions (écoute à la prise). Donc probablement une meilleure solution est d'attendre avant de commencer Kafka ou mieux avoir un script qui vérifie Zookeeper nœuds sont prêts à recevoir des connexions et ensuite commencer à Kafka. Je ne pense pas que c'est bon de changer la configuration du délai d'attente seulement pour Kafka démarrage. Il devrait être changé, par exemple, si vous considérez que votre réseau est trop lent (vous auriez besoin d'un nombre plus élevé) ou il est assez rapide pour traiter un court délai.

    OriginalL'auteur rodolk