Kafka à la consommation des décalages de gamme avec pas configuré de réinitialisation de la politique pour les partitions
Je suis la réception d'exception dès le début de Kafka à la consommation.
org.apache.kafka.clients.à la consommation.OffsetOutOfRangeException:
Les décalages de gamme avec pas configuré de réinitialisation de la politique pour les partitions de{test-0=29898318}
Je suis l'aide de Kafka version 9.0.0 avec Java 7.
OriginalL'auteur basit raza | 2016-05-19
Vous devez vous connecter pour publier un commentaire.
Si vous essayez d'accéder à décalage(
29898318
) dans le sujet(test
) partition(0
) qui n'est pas disponible pour le moment.Il peut y avoir deux cas pour ce
0
peut-être pas ces nombreux messages29898318
pourrait avoir déjà supprimé par période de rétentionPour éviter cela, vous pouvez effectuer l'une des opérations suivantes:
auto.offset.reset
config soitsmallest
oulargest
.Vous pouvez trouver plus d'informations sur ce ici
smallest offset
disponible pour un sujet de partition parcourir après Kafka outil de ligne de commande
commande:
Espérons que cette aide!
auto.offset.reset
devrait êtrelatest
, ` plus tôt` ounone
essayez-le avec la
latest
OriginalL'auteur avr
J'ai frappé ce DONC, la question lors de l'exécution d'un Kafka Flux de stockage de l'état avec un changelog sujet config:
cleanup.policy=cleanup,delete
Lors de ma demande a été pendant plus de 4 jours, Kafka Ruisseaux avait encore un cliché montrant un décalage qui n'existe plus (éliminé par kafka, parce qu'en dehors de la rétention de la fenêtre). La restauration du consommateur est configuré pour échouer dans ces cas, il ne faut pas revenir à la première décalage.
Depuis que je ne suis pas intéressé par les données de plus de 4 jours, j'ai utilisé le flux-demande de réinitialisation outil pour effacer le changelog sujet.
OriginalL'auteur Tim Van Laer