Je suis de l'évaluation Google PUB/SUB vs Kafka?

Je n'ai pas travaillé sur kafka beaucoup, mais voulait construire des data pipeline de la CME. Nous avons donc voulu savoir Kafka vs PUB/Sub. Fondamentalement, je veux savoir combien de message de cohérence, le message de disponibilité, message la fiabilité est assurée à la fois Kafka et Pub/sub

Grâce

InformationsquelleAutor Naresh | 2016-07-25
  1. 64

    En plus de Google Pub/Sub géré par Google et Kafka étant open source, l'autre différence, c'est que Google Pub/Sub est un message de la file d'attente (par exemple Rabbit MQ) où Kafka est plus un streaming de journal. Vous ne pouvez pas "re-lecture" ou "replay" des messages avec Pubsub. (ÉDITION de 2019 Février, vous POUVEZ relire les messages et une recherche arrière dans le temps pour un certain timestamp, par commentaire ci-dessous)

    Avec Google Pub/Sub, une fois qu'un message est lu en dehors de l'abonnement et roupe animé, il a disparu. Afin d'avoir plus de copies d'un message destiné à être lu par différents lecteurs, vous "fan-out" le sujet en créant des "abonnements" pour ce topic, où chaque abonnement aura une copie de tout ce qui va dans le sujet. Mais cela augmente également le coût parce que Google les frais de Pub/Sub utilisation par la quantité de données lues hors de lui.

    Avec Kafka, vous définissez une période de rétention (je pense que c'est 7 jours par défaut) et les messages restent dans Kafka, indépendamment de la façon dont beaucoup de consommateurs de le lire. Vous pouvez ajouter un nouveau type de consommateur (aka abonné), et de commencer à consommer de l'avant de la rubrique à tout moment vous voulez. Vous pouvez également définir la période de maintien de l'être infini, et puis vous pouvez en principe utiliser Kafka comme un immuable de la banque de données, comme décrit ici: http://stackoverflow.com/a/22597637/304262

    Amazon AWS Kinesis est un géré la version de Kafka alors que je pense de Google Pubsub car un géré la version de Lapin à la MQ.
    Amazon SNS avec SQS est également semblable à Google Pubsub (SNS fournit la distribution et de la SQS fournit les files d'attente).

    • Replay est une caractéristique essentielle dans la plupart des cas les architectures orientées. En outre, Kafka ajoute un numéro de séquence de messages et, par conséquent, devient la source d'autorité de la séquence.
    • Le chemin à suivre "replay" avec un message de système de file d'attente comme PubSub est de faire du fan-out de la rubrique pour plus d'abonnements (c'est à dire faire plus de copies des messages), et chaque consommateur consomme leur propre abonnement à leur propre rythme. Je suppose que vous pouvez avoir un abonnement juste pour le replay quand vous en avez besoin. Pour faire la même chose avec Kafka, vous devez créer un nouveau type de consommateur et de commencer à consommer de l'avant (depuis Kafka n'est pas de faire une copie des messages, il donne simplement à chaque consommateur de leur propre "pointeur" offset pour garder une trace de ce qui a été déjà lu)
    • Kinesis peut être considéré comme un service géré qui est sémantiquement similaires à Kafka, mais il est inexact de dire que c'est une "géré version de Kafka". Pour une véritable "géré Kafka", voir Confluentes Cloud, confluentes.io/confluentes-cloud
    • Cloud Pub/Sub récemment ajouté le support pour la relecture déjà reconnu messages. Le guide de démarrage rapide et blog expliquer comment utiliser la fonctionnalité.
    InformationsquelleAutor gunit
  2. 6

    Une grande différence entre Kafka vs Cloud Pub/Sub est que le Cloud Pub/Sub est entièrement géré pour vous. Vous n'avez pas à vous inquiéter au sujet de machines, la configuration de clusters, vous pouvez ajuster les paramètres etc. ce qui signifie que beaucoup de DevOps travail est fait pour vous et c'est important, surtout quand vous avez besoin à l'échelle.

    • Ce n'est pas vraiment une différence, car il y a plusieurs fournisseurs, qui offrent Kafka comme un service entièrement géré aussi. La différence peut-être que Google PubSub est uniquement disponible en tant que service Google Cloud n'est donc pas sur prem version ni est-il un service géré dans d'autres fournisseurs de cloud comme AWS ou Azure.
    • "Google PubSub est uniquement disponible en tant que service Google Cloud" qui est incorrect...votre application n'est pas liée à la mutation dans Google App Engine..vous pouvez vous connecter et publier à GooglePub/Sub" à partir de n'importe quel client aussi longtemps que vous connecter de manière sécurisée via un "compte de service".
    • Je pense qu'il veut simplement dire que vous ne pouvez pas installer google pub/sub prem
    InformationsquelleAutor Mete Atamel