lire kafka message de départ à partir d'un offset à l'aide de l'API de haut niveau

J'espère que je ne fais pas une erreur, mais je me souviens que, dans Kafka la documentation, il a mentionné que l'utilisation de haut niveau de l'Api, vous ne pouvez pas commencer à lire les messages à partir d'un certain décalage, mais il a mentionné qu'il allait changer.

Est-il possible maintenant, à l'aide de l'Api de haut niveau pour lire les messages à partir d'une partition spécifique et un certain décalage? Pourriez-vous me donner un exemple de comment le faire?

Je suis à l'aide de kafka 0.8.1.1.

Merci d'avance.

OriginalL'auteur user1002065 | 2015-12-16

  1. 4

    Vous pouvez le faire avec kafka 0.9:

    http://kafka.apache.org/090/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html

    public void seek(TopicPartition partition, long offset)

    Remplace l'extraction des décalages que le consommateur sur l'interrogation suivante(délai d'attente). Si cette API est appelée pour la
    même partition plus d'une fois, la dernière décalage sera utilisé sur le
    interrogation suivante(). Notez que vous pouvez perdre des données si cette API est arbitrairement
    utilisé dans le milieu de la consommation, pour réinitialiser l'extraction des décalages de

    Merci,pouvez-vous svp me dire où je peux trouver un bon résumé pour les différences entre 0.8.1 et 0,9?
    notes de version: eu.apache.org/dist/kafka/0.9.0.0/RELEASE_NOTES.html. Aperçu: confluentes.io/blog/apache-kafka-0.9-est-sortie
    Mais la question est sur kafka 0.8 Haut niveau de consommation? air vous suggérons d'utiliser la dernière version disponible

    OriginalL'auteur Anatoly Deyneka

  2. 2

    Kafka 0.8.1.1 pouvez utiliser Zookeeper pour stocker les offsets pour chaque groupe de consommateurs. Si vous configurez votre consommation de commettre des décalages zookeeper que vous avez juste Besoin de régler manuellement le décalage de départ pour le sujet et la partition en vertu de la gardienne pour votre Groupe de consommateurs.
    Vous Devez vous connecter à la gardienne et l'utilisation de la commande set:

    set /consommateurs/[groupId]/offsets/[sujet]/[partitionId] -> long (offset)

    E. g. réglage du décalage de 10 pour partition 0 de topicname pour la spark-app Groupe de consommateurs.
    set /consommateurs/spark-app/offsets/topicname/0 10

    Lorsqu'un consommateur commence à consommer message de Kafka, il commence toujours à consommer à partir de la dernière commis de décalage. Si cette dernière comités décalage n'est pas.valable pour toute raison que le consommateur s'applique la logique en raison de la configurazione propriétés auto.décalage.réinitialiser.

    Espère que cette aide.

    OriginalL'auteur Beniamino Del Pizzo