En cours d'exécution dans LeaderNotAvailableException lors de l'utilisation de Kafka 0.8.1 avec Zookeeper 3.4.6

J'ai installé la version stable de kafka (0.8.1 avec 2.9.2 Scala) que par leur site web et suis en cours d'exécution avec un nœud 3 zookeeper ensemble (3.4.6). J'ai essayé de créer un test de sujet, mais continuer de voir qu'il n'y a pas de leader attribué à la partition de la rubrique:

[kafka_2.9.2-0.8.1]$ ./bin/kafka-topics.sh --zookeeper <zookeeper_ensemble> --describe --topic test-1
Topic:test-1    PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: test-1   Partition: 0    **Leader: none**    Replicas: 0,1,2 **Isr:**

J'ai essayé d'écrire sur le sujet de toute façon à l'aide de la console de producteur, mais a couru dans la LeaderNotAvailableException exception:

[kafka_2.9.2-0.8.1]$ ./kafka-console-producer.sh --broker-list <broker_list> --topic test-1

hello world

[2014-04-22 11:58:48,297] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,321] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,322] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test-1 (kafka.producer.async.DefaultEventHandler)

[2014-04-22 11:58:48,445] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,467] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,467] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test-1 (kafka.producer.async.DefaultEventHandler)

[2014-04-22 11:58:48,590] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,612] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,612] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test-1 (kafka.producer.async.DefaultEventHandler)

[2014-04-22 11:58:48,731] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,753] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,754] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test-1 (kafka.producer.async.DefaultEventHandler)

[2014-04-22 11:58:48,876] WARN Error while fetching metadata [{TopicMetadata for topic test-1 -> 
No partition metadata for topic test-1 due to kafka.common.LeaderNotAvailableException}] for topic [test-1]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)

[2014-04-22 11:58:48,877] ERROR Failed to send requests for topics test-1 with correlation ids in [0,8] (kafka.producer.async.DefaultEventHandler)

[2014-04-22 11:58:48,878] ERROR Error in handling batch of 1 events (kafka.producer.async.ProducerSendThread)
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
    at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90)
    at kafka.producer.async.ProducerSendThread.tryToHandle(ProducerSendThread.scala:104)
    at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:87)
    at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:67)
    at scala.collection.immutable.Stream.foreach(Stream.scala:547)
    at kafka.producer.async.ProducerSendThread.processEvents(ProducerSendThread.scala:66)
    at kafka.producer.async.ProducerSendThread.run(ProducerSendThread.scala:44)

Je dois également préciser que c'était au départ pour quelques jours et puis, soudain, un sujet qui a été créé a eu ce manque de leader problème.

  • Le deps pour cette version de kafka liste zookeeper version 3.3.4 que le bon zookeeper dep comme par mvnrepository.com/artifact/org.apache.kafka/kafka_2.9.2/0.8.1 peut-être l'aide qui pourrait résoudre le problème...
  • J'ai le même problème. Je ne trouve pas beaucoup sur le web, mais cela est susceptible de se produire si Kafka n'est pas éteint correctement - voir cwiki.apache.org/confluence/display/KAFKA/... Nous sommes en cours d'exécution Kafka superviseur de sorte qu'il est possible qu'il s'abîme, s'est lui-même dans un état incohérent puis redémarré. Mais comment le résoudre?
InformationsquelleAutor user3561789 | 2014-04-22
  1. 49

    Kafka utilise une coordination externe du cadre (par défaut Zookeeper) pour maintenir la configuration. Il semble que la configuration est maintenant synchronisé avec les données du journal de Kafka. Dans ce cas, je voudrais déplacer la rubrique données et la Gardienne des données.

    Pour L'Environnement De Test:

    1. Arrêter Kafka-server et Zookeeper-server
    2. Supprimer les répertoires de données des deux services, par défaut, ils sont /tmp/kafka-log et /tmp/zookeeper.
    3. Commencer Kafka-server et Zookeeper-server nouveau
    4. Créer un nouveau sujet

    Vous êtes maintenant en mesure de travailler avec le sujet à nouveau.

    Pour Un Environnement De Production:

    Comme Kafka sujets sont stockés dans des répertoires différents, vous devez supprimer des répertoires spécifiques. Vous devez également supprimer /brokers/{broker_id}/topics/{broken_topic} de Gardienne d'animaux à l'aide d'un Zookeeper client.

    Veuillez lire Kafka attentivement la documentation pour vérifier que la configuration de la structure, avant de vous faire quelque chose de stupide. Kafka est le déploiement d'une suppression sujet fonctionnalité (KAFKA-330), de sorte que le problème peut être résolu plus facilement.

    • le redémarrage de tous kafka nœuds a pris soin de partitions ne pas être recréée et manque de leaders, d'après sujet de la suppression et de création. Depuis la version de kafka, je travaille avec n'ont pas le mécanisme de suppression, j'ai eu à manipuler Zookeeper touches pour supprimer les sujets et les consommateurs des décalages
    InformationsquelleAutor stanleyxu2005
  2. 19

    J'ai eu le même problème. Il s'avère que Kafka exige que le nom d'hôte de la machine à resolveable pour se connecter à lui-même.

    Je mis à jour le nom d'hôte sur ma machine et, après un redémarrage de la gardienne et de kafka, le sujet peut être écrit correctement.

    • C'était la seule solution qui a fonctionné pour moi.
    InformationsquelleAutor Lee Netherton
  3. 10

    J'avais résolu ce problème en ajoutant une entrée dans /etc/hosts pour 127.0.0.1 avec le nom d'hôte pleinement qualifié:

    127.0.0.1       x4239433.your.domain.com x4239433

    Le producteur et le consommateur a commencé à bien fonctionner.

    • Ou un ensemble advertised.host.name=localhost dans config/server.properties. Même dans la production, c'est généralement une bonne idée.
    InformationsquelleAutor borodark
  4. 7

    J'ai eu le même problème. À la fin, j'ai dû supprimer le Kafka nœuds, puis suivez les conseils sur la façon de supprimer Kafka sujets. Une fois que j'avais à se débarrasser de la rupture de sujets, j'ai pu commencer à Kafka de nouveau avec succès.

    Je voudrais savoir si il y a une meilleure approche, et comment éviter que cela se reproduise à l'avenir.

    InformationsquelleAutor Mark Butler
  5. 3

    J'ai rencontré ce problème plusieurs fois et enfin compris pourquoi j'ai eu le problème. Je vais ajouter les résultats ici aussi. Je suis sur Linux, VM, réponse courte est, j'ai eu ce problème depuis ma VM a obtenu une nouvelle IP. Si vous regardez sous les fichiers de configuration et ouvrir le serveur.propriétés, vous voyez cette ligne

    annoncés.de l'hôte.nom=xx.xx.xx.xxx ou localhost.

    Assurez-vous que cette adresse IP correspond à votre IP actuelle, vous pouvez vérifier votre adresse IP ici.

    Une fois que j'ai résolu, tout a commencé à fonctionner correctement. Je suis à l'aide de 0.9.0.0 version.

    J'espère que cela aide quelqu'un.

    InformationsquelleAutor Mhoque
  6. 2

    J'ai eu le même problème, résolu le JDK de 1,7 à 1,6

    InformationsquelleAutor user3603968
  7. 2

    eu le même problème. assurez-vous d'avoir au moins un sujet sur chaque partition de votre consommateur /producteur est à l'aide. Zookeeper ne trouverez pas un chef de file d'une partition si il n'y a pas des sujets à l'aide de la partition

    InformationsquelleAutor Andrew
  8. 2

    C'est le problème avec le JDK.

    J'ai installé openjdk

    java version "1.7.0_51"
OpenJDK Runtime Environment (IcedTea 2.4.4) (7u51-2.4.4-0ubuntu0.12.04.2)
OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)

    Mais j'ai changé d'oracle jdk (suivez ce lien : http://www.webupd8.org/2012/06/how-to-install-oracle-java-7-in-debian.html)

    java version "1.7.0_80" Java(TM) SE Runtime Environment (build
1.7.0_80-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

    Maintenant il fonctionne très bien. Espérons que cette aide.

    InformationsquelleAutor Ashwini Adlakha
  9. 2

    Donc encore une réponse possible -- l'adresse IP dans le advertised.hostname dans le kafka config/server.properties peut-être fait une faute de frappe avec un espace supplémentaire.

    Dans mon cas

    advertised.host.name=10.123.123.211_\n (where _ is an extra space)

    au lieu de le corriger

    advertised.host.name=10.123.123.211\n

    Pour une raison quelconque, cela a été de travailler pendant 6 mois sans problèmes, et sans doute une bibliothèque mise à jour retiré de l'atmosphère détendue de la recherche de l'adresse IP découpe l'espace supplémentaire.

    Une simple correction d'un problème de fichier de configuration et redémarrer de kafka résout ce problème.

    InformationsquelleAutor Soren
  10. 0

    Je me suis confronté exactement au même problème quand j'ai essayé de jouer avec Kafka dans mon système local (mac OS X El Capitan). Le problème était avec ma gardienne d'animaux, il ne se référait pas à corriger le fichier config.
    Le redémarrage de la gardienne d'animaux, puis Kafka et exécutez la commande suivante. vérifier si le Leader n'est pas Aucun. Si le Leader n'est, de supprimer ce topic et de le recréer.

    kafka-topics --zookeeper localhost:2181 --describe --topic pytest

    De sortie sera comme

    Topic:pytest    PartitionCount:1    ReplicationFactor:1 Configs:
Topic: pytest   Partition: 0    Leader: 0   Replicas: 0 Isr: 0

    J'espère que cela pourra vous aider.

    InformationsquelleAutor suyash
  11. 0

    J'ai affronté le problème avec Kafka, Zookeeper pod dans Openshift et la Kafka a été TLS est activé.
    J'ai dû ajouter ci-dessous les variables d'environnement de Kafka,

    • KAFKA_ZOOKEEPER_CONNECT

    • KAFKA_SSL_KEYSTORE_LOCATION

    • KAFKA_SSL_TRUSTSTORE_LOCATION

    • KAFKA_SSL_KEYSTORE_PASSWORD

    • KAFKA_SSL_TRUSTSTORE_PASSWORD

    • KAFKA_ADVERTISED_LISTENERS

    • KAFKA_INTER_BROKER_LISTENER_NAME

    • KAFKA_LISTENERS

    Et après la mise à l'variables, j'ai dû supprimer et recréer les gousses, pour qu'il fonctionne.

    InformationsquelleAutor Kannan Ramamoorthy
  12. 0

    Ajouter de la publicité.de l'hôte.nom=localhost" dans config/serveur.propriétés et redémarrez l'Kafka serveur. Il a travaillé pour moi

    InformationsquelleAutor Reddeiah Pidugu