Comment obtenir la liste des sujets du serveur kafka à Java

Je suis en utilisant kafka 0.8 version et beaucoup de nouveau pour elle.

Je veux savoir la liste des sujets créés dans kafka server ainsi que la
les métadonnées.
Est-il une API disponibles pour trouver ce?

En gros, j'ai besoin d'écrire un Java consommateur que l'auto-découvrir un sujet en kafka server.Il y a de l'API pour récupérer TopicMetadatamais il faut le nom du sujet en tant qu'entrée
les paramètres.J'ai besoin d'informations pour tous les sujets présents dans le serveur.

source d'informationauteur Anand

  1. 3

    Un bon endroit pour commencer serait l'exemple de shell scripts livrés avec Kafka.
    Dans le répertoire /bin de la distribution, il y a quelques scripts shell, vous pouvez utiliser l'un des qui est ./kafka-topic-list.sh
    Si vous exécutez que, sans spécification d'un sujet, il sera de retour tous les sujets avec leurs métadonnées.
    Voir:
    https://github.com/apache/kafka/blob/0.8/bin/kafka-list-topic.sh

    Que script shell qui exécute à son tour:
    https://github.com/apache/kafka/blob/0.8/core/src/main/scala/kafka/admin/ListTopicCommand.scala

    Ci-dessus sont à la fois des références à 0,8 Kafka version, donc si vous utilisez une version différente (même une différence de point), assurez-vous d'utiliser la branche/étiquette sur github

  2. 22

    avec Kafka 0.9.0

    vous pouvez lister les sujets dans le serveur avec le consommateur méthode listTopics();

    par exemple.

    Map<String, List<PartitionInfo> > topics;

Properties props = new Properties();
props.put("bootstrap.servers", "1.2.3.4:9092");
props.put("group.id", "test-consumer-group");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
topics = consumer.listTopics();
consumer.close();
  3. 2

    Je pense que c'est la meilleure façon:

    ZkClient zkClient = new ZkClient("zkHost:zkPort");
List<String> topics = JavaConversions.asJavaList(ZkUtils.getAllTopics(zkClient));
  4. 1

    Si vous voulez tirer le courtier ou l'-kafka informations de Zookeeper puis kafka.utils.ZkUtils fournit une interface agréable. Voici le code que j'ai la liste de tous zookeeper courtiers (il y en a une tonne d'autres méthodes):

    List<Broker> listBrokers() {

        final ZkConnection zkConnection = new ZkConnection(connectionString);
        final int sessionTimeoutMs = 10 * 1000;
        final int connectionTimeoutMs = 20 * 1000;
        final ZkClient zkClient = new ZkClient(connectionString,
                                               sessionTimeoutMs,
                                               connectionTimeoutMs,
                                               ZKStringSerializer$.MODULE$);

        final ZkUtils zkUtils = new ZkUtils(zkClient, zkConnection, false);

        scala.collection.JavaConversions.seqAsJavaList(zkUtils.getAllBrokersInCluster());
}
  5. 1

    Utilisation De Scala:

    import java.util.{Properties}
import org.apache.kafka.clients.consumer.KafkaConsumer

object KafkaTest {
  def main(args: Array[String]): Unit = {

    val brokers = args(0)
    val props = new Properties();
    props.put("bootstrap.servers", brokers);
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

    val consumer = new KafkaConsumer[String, String](props);
    val topics = consumer.listTopics().keySet();

    println(topics)
  }
}
  6. 0

    Vous pouvez utiliser zookeeper API pour obtenir la liste des courtiers comme mentionné ci-dessous:

        ZooKeeper zk = new ZooKeeper("zookeeperhost, 10000, null);
    List<String> ids = zk.getChildren("/brokers/ids", false);
    List<Map> brokerList = new ArrayList<>();
    ObjectMapper objectMapper = new ObjectMapper();

    for (String id : ids) {
        Map map = objectMapper.readValue(zk.getData("/brokers/ids/" + id, false, null), Map.class);
        brokerList.add(map);
    }

    Utiliser ce courtier liste pour obtenir tous les sujet en utilisant le lien suivant

    https://cwiki.apache.org/confluence/display/KAFKA/Finding+Sujet+et+Partition+Chef