Erreur lors de la création du sujet Kafka: - facteur de réplication plus grand que les courtiers disponibles

Je suis en train de créer un kafka sujet par AdminCommand à l'aide de code ci-dessous Source

 ZkClient zkClient = new ZkClient(kafkaHost, 10000, 10000, ZKStringSerializer$.MODULE$);
    AdminUtils.createTopic(zkClient, "pa_reliancepoc_telecom_usageevent", 10, 2, new Properties());

Mais trouver ci-dessous exception

Exception in thread "main" kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0
at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70)
at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:155)

Cependant, je suis en mesure de créer le sujet à l'aide de la commande du shell .

source d'informationauteur Count

  1. 13

    Dans votre code,

     AdminUtils.createTopic(zkClient, "pa_reliancepoc_telecom_usageevent", 10, 2, new Properties());

    Le quatrième argument est le facteur de réplication. Si vous essayez de créer un topic avec un nom de pa_reliancepoc_telecom_usageevent avec partition count of 10 et replication of 2. Donc two kafka brokers devraient être disponibles lors de la création du sujet. Si moins de deux qui est disponible, alors vous obtiendrez l'exception suivante.

    Exception in thread "main" kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0
at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70)
at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:155)

    Assurez-vous que vous exécutez kafka cluster with two broker nodes et les deux nœuds should be alive while creating the topic.

    Pour exécuter kafka en cluster, reportez-vous à l'Étape 6 de ce lien

  2. 4

    configurer votre machine locale d'avoir plusieurs courtiers en place et en cours d'exécution dans le cas où vous décidez de garder votre replication_factor > 1.

    Vous pouvez le faire simplement en avoir plusieurs copies de la
    server.properties fichier. e.g
    server-1.properties & server-2.properties

    Vous devez ensuite spécifier différents broker.id & port dans chacun de ces dossiers afin de les rendre uniques ..

       config/server-1.properties:
     broker.id=1
     port=9093
     log.dir=/tmp/kafka-logs-1

   config/server-2.properties:
     broker.id=2
     port=9094
     log.dir=/tmp/kafka-logs-2

    Puis démarrer plusieurs instances avec les commandes suivantes

    > bin/kafka-server-start.sh config/server-1.properties &
> bin/kafka-server-start.sh config/server-2.properties &

    Pour plus de détails, consultez le Étape 6: mettre en place un multi-courtier cluster

  3. 0

    J'ai connu le même problème lors de la configuration de plusieurs courtiers.

    L'étape qui me manquait était:

    Tout en éditant le fichier de configuration:
    config/server-1.propriétés:
    courtier.id=1
    les auditeurs=PLAINTEXT://:9093
    journal.dir=/tmp/kafka-journaux-1

    besoin de mettre à jour le JOURNAL des notions de base de la section(voir ci-dessous):

    ####################### Journal Des Bases

    Une liste séparée par des virgules des sous-répertoires pour stocker les fichiers journaux

    log.dirs=/tmp/kafka-logs-1