Amazon Kinesis & AWS Lambda Tentatives

C'est une question commune que sur le traitement des événements dans Kinesis et je vais essayer de vous donner quelques points de construire votre fonction Lambda de traiter ces questions avec "corrompu" de données. Car il est plus pratique d'avoir séparé les parties de votre système d'écriture pour les flux Kinesis et d'autres parties de la lecture de flux Kinesis, il est fréquent que vous avez de tels problèmes.

D'abord, pourquoi avez-vous de tels événements problématiques?

À l'aide de Kinesis pour traiter vos événements est une bonne façon de briser un système complexe qui fait à la fois l'avant-fin de traitement (service des utilisateurs finaux), et en même temps/code-fin de traitement (analyse des événements), en deux indépendant parties de votre système. L'avant-end les gens peuvent se concentrer sur leurs affaires, alors que les gens n'ont pas besoin de pousser des modifications au code du front-end, s'ils veulent ajouter des fonctionnalités à servir leurs analytique des cas d'utilisation. Kinesis est un tampon d'événements que les deux sauts de la nécessité pour la synchronisation ainsi simplifie le code de la logique métier.

Par conséquent, nous aimerions que les événements écrits dans le flux d'être flexible dans leur "schéma", et si le front-end des équipes souhaitez changer le format de l'événement, ajouter des champs, supprimer des champs, le changement de protocole ou les clés de chiffrement, ils devraient être en mesure de le faire aussi souvent qu'ils le souhaitent.

Maintenant, c'est les équipes qui sont la lecture à partir du flux pour être en mesure de traiter une telle souplesse des événements d'une manière efficace, et de ne pas casser leur traitement chaque fois qu'un tel changement se produit. Par conséquent, il devrait être bon que votre fonction Lambda va voir les événements qu'il ne peut pas traiter, et "poison pilule" n'est pas rare d'événement que vous pourriez vous attendre.

Deuxième, comment faire face à de tels événements problématiques?

Lambda de votre fonction sera d'obtenir un lot d'événements à traiter. Veuillez noter que vous ne devriez pas obtenir les événements un par un, mais dans de grands lots d'événements. Si vos lots sont trop petits, vous obtiendrez rapidement de gros lag sur le stream.

Pour chaque lot vous permettra d'effectuer une itération sur les événements, de les traiter et le check-point de DynamoDB la dernière séquence-id du lot. Lambda est en train de faire la plupart de ces étapes automatiquement (voir plus ici: http://docs.aws.amazon.com/lambda/latest/dg/walkthrough-kinesis-events-adminuser-create-test-function.html):

console.log('Loading function');

exports.handler = function(event, context) {
    console.log(JSON.stringify(event, null, 2));
    event.Records.forEach(function(record) {
        //Kinesis data is base64 encoded so decode here
        payload = new Buffer(record.kinesis.data, 'base64').toString('ascii');
        console.log('Decoded payload:', payload);
    });
    context.succeed();
};

C'est ce qui se passe dans le "heureux" chemin de, si tous les événements sont traités sans aucun problème. Mais si vous rencontrez le moindre problème dans le lot et vous n'avez pas "commettre" les événements avec le succès de la notification, le lot échouer et vous aurez tous les événements dans le lot à nouveau.

Maintenant, vous devez décider quelle est la raison de l'échec du traitement.

• Temporaire problème (limitation de, problème de réseau...) - c'est OK pour attendre une seconde et essayez à nouveau pour une couple de fois. Dans de nombreux cas, le problème se résoudra de lui-même.

• Occasionnel problème (de mémoire...) - il est préférable d'augmenter l'allocation de mémoire de la fonction Lambda ou de diminuer la taille des lots. Dans de nombreux cas, une telle modification permettra de résoudre le problème.

• Constante l'échec, cela signifie que vous devez ignorer la problématique de l'événement (le mettre dans un DLQ - dead-lettre-de la file d'attente) ou de modifier votre code pour gérer.

Le problème est d'identifier le type de panne de votre code et de les traiter différemment. Vous devez écrire votre Lambda code dans un moyen de l'identifier (type d'exception, par exemple) et réagissent différemment.

Vous pouvez utiliser l'intégration avec CloudWatch pour écrire de tels échecs à la console et à créer pertinentes les alarmes. Vous pouvez utiliser le CloudWatch Logs aussi comme un moyen de vous connecter à votre "lettre morte-la file d'attente" et de voir quelle est la source du problème.

OriginalL'auteur