L'Apprentissage De Kafka 0.8.2

Avoir un diable de temps à trouver de la simple prise en main des échantillons avec la nouvelle version. Des choses telles que KafkaProducer diffèrent selon le Producteur, des exemples et beaucoup de vieux code sur le web ne semble pas à compiler le même.

Toute orientation? L'Apache Kafka site a zéro des exemples de producteurs en Java.

Veuillez en informer.

InformationsquelleAutor Bruno | 2015-02-27
  1. 18

    Dans l'exemple ci-dessous, j'ai créer un producteur utilisant la Chaîne de la clé et de byte[] que le contenu du message.

    Créer un nouveau producteur en utilisant les paramètres essentiels :

    Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "server1:123,server2:456");
props.put(ProducerConfig.RETRIES_CONFIG, "3");
props.put(ProducerConfig.ACKS_CONFIG, "all");
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "none");
props.put(ProducerConfig.BATCH_SIZE_CONFIG, 200);
props.put(ProducerConfig.BLOCK_ON_BUFFER_FULL_CONFIG, true);
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.ByteArraySerializer");

KafkaProducer<String, byte[]> producer = new KafkaProducer<String, byte[]>(props);

    De façon synchrone envoyer un message :

    producer.send(new ProducerRecord<>(topic, msgKey, msgContent)).get();

    De manière asynchrone envoyer un message :

    producer.send(new ProducerRecord<>(topic, msgKey, msgContent));

    Vos dépendances maven est bon pour le consommateur et pour le producteur. Si vous avez besoin seulement le producteur, vous pouvez utiliser :

    <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.8.2.0</version>
</dependency>

    Être averti que la nouvelle Consommateur API est disponible, mais pas utilisable pour l'instant. Dans le code source, la nouvelle API renvoie la valeur null ou jeter l'exception.

    InformationsquelleAutor Minh-Triet LÊ
  3. 0

    C'est toujours une bonne idée de vérifier comment les auteurs originaux sont à tester leur code de sorte que vous pouvez obtenir un sentiment de ce qu'ils tentent d'atteindre ou de l'utilisation souhaitée (si et quand il y a des tests 🙂

    Dans ce cas, il suffit de cocher ce code:
    https://github.com/apache/kafka/blob/0.8.2/examples/src/main/java/kafka/examples/Producer.java

    🙂

    InformationsquelleAutor Kyr
  4. -2

    J'ai dû régresser en raison de l'absence de bons exemples.

    Ici une partie de mes pom.xml

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.10</artifactId>
            <version>0.8.2.0</version>
            <scope>compile</scope>
    </dependency>

    Voici mon code en attente de certains tests.

        //KafkaProducer.java - A first pass to verify that we can bring in the appropriate
    //                  libraries using Maven

    //Supports unit tests
    package com.bruno;

    import org.junit.Test;
    import static org.junit.Assert.*;



    import java.util.Arrays;
    import java.util.Properties;

    import kafka.javaapi.producer.Producer;
    import kafka.producer.KeyedMessage;
    import kafka.producer.ProducerConfig;



    public class MyKafkaProducer
    {

        public static void main(String[] args) throws Exception {
            Properties props = new Properties();

            props.put("metadata.broker.list", "192.168.1.203:9092");
            props.put("serializer.class", "kafka.serializer.StringEncoder");
            props.put("request.required.acks", "1");
            ProducerConfig config = new ProducerConfig(props);

            Producer p = new Producer<String, String>(config);

            //sending...
            String topic = "test";
            String message = "Hello Kafka";
            KeyedMessage<String, String> keyedMessage = new KeyedMessage<String, String>(topic, message);
            p.send(keyedMessage);

        }

    }
    • Cet exemple utilise l'ancien Kafka Producteur. Il ne concerne pas la 0.8.2 Kafka Producteur.
    InformationsquelleAutor Bruno