Le suivi de l'INTERFACE utilisateur pour Apache kafka - kafka manager vs kafka moniteur
Je suis nouvelle de kafka. Nous voulons surveiller et de gérer kafka sujets. Nous avons essayé différents open source outils de suivi comme
Les deux outils sont de bonne qualité. Mais nous sommes incapables de prendre une décision qui doit être inclus dans notre déploiement de la pile. Lequel est le mieux et pourquoi, et dans quel scénario?
'kafka manager" de yahoo semble le plus vieux et "kafka monitor" de LinkedIn est le plus récent
Kafka Moniteur- 
Vous devez vous connecter pour publier un commentaire.
Landoop
Landoop améliore Kafka avec de l'Interface Utilisateur, le streaming moteur SQL cluster et de surveillance. Il permet d'accélérer la surveillance de Kafka données pipelines.
Ils fournissent un gratuit tout-en-un menu fixe (Les LENTILLES de Boîte) qui peut servir qu'un seul courtier jusqu'à 25M de messages. Notez que ce qui est recommandé pour les environnements de développement.
Confluentes
Une autre option est Confluent De L'Entreprise qui est un Kafka de distribution pour les environnements de production. Il comprend également Centre De Contrôle, qui est un système de gestion de Apache Kafka qui permet de cluster de surveillance et de gestion à partir d'une Interface Utilisateur.
Yahoo Kafka Gestionnaire De
Kafka Manager est un outil de suivi Kafka offrant moins de fonctionnalités par rapport aux outils ci-dessus.
KafDrop
KafDrop est une INTERFACE utilisateur pour la surveillance de Apache Kafka clusters. L'outil affiche des informations comme les courtiers, les sujets, les partitions, et vous permet même d'afficher des messages. C'est une application légère qui s'exécute sur le Printemps de Démarrage et ne nécessite que très peu de configuration.
LinkedIn Terrier
Terrier est un compagnon de surveillance pour Apache Kafka qui fournit des consommateurs gal de vérifier un service sans avoir besoin de spécifier des seuils. Il surveille commis des compensations pour tous les consommateurs et calcule l'état de ces consommateurs à la demande. Un point de terminaison HTTP est fourni à l'état de la demande à la demande, ainsi que de fournir d'autres Kafka informations sur le cluster. Il y a également configurable déclarants qui peut envoyer par courriel ou HTTP appels vers un autre service.
Kafka Outil
Kafka Outil est une application graphique pour la gestion et l'utilisation d'Apache Kafka clusters. Il fournit une INTERFACE utilisateur intuitive qui vous permet de visualiser rapidement les objets à l'intérieur d'un Kafka de cluster ainsi que les messages stockés dans les rubriques du cluster. Il contient des fonctionnalités orientées vers les développeurs et les administrateurs.
Si vous ne pouvez pas se permettre de licences, puis aller pour Yahoo Kafka Manager, LinkedIn Terrier ou KafDrop. Confluentes et Landoop produits sont les meilleurs là-bas, mais malheureusement, ils nécessitent une licence.
Si vous voulez payer pour les licences et Kafka en charge du cluster, vous pouvez utiliser Confluentes Centre De Contrôle
Sinon, le libre parcours serait d'utiliser JMX exportateurs de Datadog et/ou le Prométhée/Influxdb (avec Grafana tableaux de bord) pour voir l'ensemble des contrôles d'intégrité système (CPU, réseau, mémoire, etc)... Beaucoup plus d'informations que ce que vous obtenez seulement par le suivi de Kafka processus de Kafka outils
Le Kafka de l'écosystème, tout en excellente dans de nombreuses façons souffre d'un évident manque d'outillage. La surveillance est un tel écart, mais c'est aussi un vaste sujet.
Kafka Gérant et Moniteur de vous donner des aperçus de la santé des courtiers et certains paramètres (débit, latence, etc.), mais vous souhaitez peut-être également de surveiller la santé des consommateurs et de la rubrique contenu (indispensable pour le débogage d'applications ou post-mortem) — ni le Gestionnaire ou le Moniteur pourra le faire. Je vais suggérer l'ajout de certains autres outils à votre arsenal:
Avoir couru Kafka maintenant un certain temps comme l'un des principaux messagerie/l'événement fédérateur pour les grandes microservices déploiements, ne peux pas insister assez sur l'importance d'un bon suivi et post-mortem des outils.
Au travail, nous utilisons Kafdrop 3 pour l'affichage de renseignements sur le courtier, la navigation des sujets et de la consommation de retard. La principale raison pour Kafdrop 3 est parce que nous fermons nos Kafka dans la production et l'ensemble des producteurs et des consommateurs dans un Kubernetes cluster. Nous n'avons pas accès à Kafka sur nos machines de dev (les ports ne sont pas exposés au monde extérieur). Nous avons donc exécuter Kafdrop à l'intérieur de la K8s cluster et proxy avec
kubectl proxy.Le consommateur gal fonctionnalité n'est pas aussi sophistiqué que le Terrier offre, mais il est probablement assez bon, surtout en considérant que c'est dans un seul outil.
Pour le développement (course Kafka sur local), nous pourrait être à l'aide de Kafka Outil, mais strictement parlant, c'est uniquement pour une utilisation non commerciale. Et d'ailleurs, il n'est pas très utile si vous vous connectez à une production de Kafka qui a été verrouillé.
Dans mon entreprise, nous avons utilisé le Yahoo produit, nous avons étudié l'LinkedIn produit, et plusieurs d'autres l'ont mentionné. Mon entreprise a décidé d'utiliser Prometheus+Grafana. Tout le monde l'adore et je le recommande fortement.
Il y a deux gros avantages à Prométhée+Grafana. La première est qu'il n'complet Kafka métriques ingestion+affichage+d'alerte, mais il n'est pas limité à Kafka. Alors que nos besoins initiaux étaient juste à surveiller Kafka, nous voulions également des paramètres sur les serveurs HTTP+de la circulation, d'utilisation des serveurs (cpu/ram/disque), et la coutume du niveau d'application des mesures. Prométhée s'occupe de toutes les ci-dessus. Deuxièmement, Prométhée + Grafana sont de très haute qualité, bien conçu et facile à utiliser. Beaucoup d'autres produits dans cet espace sont vieux et compliqué de travailler avec. Prometheus + Grafana sont excellents, ils sont très personnalisables, poli, et facile à utiliser. Grafana a un très flashy + fonctionnel JavaScript interface qui vous permettra de faire exactement le des tableaux de bord personnalisés que vous le souhaitez. Prométhée a une très poli métrique moteur de collecte, de stockage de moteur, langage de requête, et le système d'alerte. Quelque chose comme Yahoo Kafka Gestionnaire a beaucoup plus de fonctionnalités limitées dans toutes ces catégories.
Si vous voulez essayer de Prometheus, vous devez faire deux choses:
1) installation+configuration JMX->Prométhée exportateur sur votre Kafka courtiers:
https://github.com/prometheus/jmx_exporter
2) Installation d'un Prométhée serveur de collecter des métriques + installation et de configuration d'un Grafana tableau de bord pour afficher les graphiques que vous souhaitez.
Je voudrais aussi dire que c'est juste pour le monitoring+tableaux de bord+d'alerte. Pour les fonctions de gestion, vous avez encore besoin d'autres outils.
KaDeck
KaDeck est entièrement gratuit et disponible en tant que client de Bureau pour Mac, Linux et Win. Contrairement à d'autres solutions, il ne nécessite pas d'autres composants d'infrastructure tels que KSQL, RESTE Proxy, etc. .
Si vous avez besoin d'un service web et/ou de gestion de l'utilisateur (et un peu plus de fonctionnalités d'entreprise), l'entreprise edition est la version qui peut être plus intéressante pour vous. Il a besoin d'une licence si.