rrd outil de remplacement à haut volume
Je suis intéressé de savoir si il n'y a aucune alternative à la rrdtool pour l'enregistrement des données de séries chronologiques. Je suis à la recherche de quelque chose qui peut évoluer pour un grand nombre de périphériques à surveiller.
De ce que j'ai lu sur ce sujet, rrdtool est dépendant des e/S lorsque vous le frappez avec de grandes quantités de données. Depuis que je vois ce à l'échelle d'un très grand nombre de périphériques à surveiller, je suis curieux de savoir si il y a une alternative qui permettrait de ne pas s'étouffer sur les I/O. Préférable SQL sur la base, mais pas nécessairement.
Grâce
Si c'est I/O bound, ce ne serait pas bon? Cela signifie que vous pouvez prendre une solution matérielle, telles que le RAID, les disques ssd, et plusieurs machines de suivre les données non pertinentes?
mon point de vue ainsi ... la question est comment le MATÉRIEL utilisé ... le rrdcached l'utiliser est tout à fait optimal ... une base de données (à la fin de la journée) a également à écrire des trucs sur le disque, mais comme il est beaucoup plus objectif général je doute qu'il sera en mesure todo elle aussi efficacement que rrdtool ...
mon point de vue ainsi ... la question est comment le MATÉRIEL utilisé ... le rrdcached l'utiliser est tout à fait optimal ... une base de données (à la fin de la journée) a également à écrire des trucs sur le disque, mais comme il est beaucoup plus objectif général je doute qu'il sera en mesure todo elle aussi efficacement que rrdtool ...
OriginalL'auteur SorinV | 2009-03-03
Vous devez vous connecter pour publier un commentaire.
Si les performances I/O est la principale préoccupation, alors vous voulez regarder dans quelque chose comme rrdcached qui est disponible dans la version actuelle (1.4) de la RRDTools.
Le I/O de frais généraux n'est pas une fonction des données écrites, après tout chaque valeur de 8 octets par source de données. La bande passante e/S vient du fait que l'ensemble d'un secteur (généralement 4k) doit être lu avant d'être écrites. Soudain, à écrire 8 octets que vous avez lu/écrit 8k octets.
Le rrdcached fusionne tous ces écrire ainsi, quand une RRD est mis à jour, le ratio de données utiles (réel DS de valeurs), les pertes de données (la roue de secours octets dans le secteur) est réduite.
Tous les RRDTools automatiquement avec rrdcached lorsqu'ils détectent il en cours d'exécution (via une variable d'environnement). Cela leur permet de déclencher des bouffées de chaleur, lorsque nécessaire, par exemple lors de la génération d'un graphique à partir des données.
Tout en passant à un SQL base de solution peut aider à envisager de le des e/S supplémentaires qui seront nécessaires pour prendre en charge SQL. Considérant que vous n'avez pas tendance à utiliser RRD données dans ce genre de modèle accès aléatoire d'une base de données est un peu un marteau de forgeron pour le problème. Tout en restant avec RRDTool permettra de garder l'accès à tout l'éco-système d'outils comprenez et pouvez travailler avec les fichiers, ce qui est particulièrement utile si vous êtes déjà familier avec elle.
OriginalL'auteur stsquad
Il y a quelques temps la série des bases de données qui ont une haute disponibilité et/ou l'évolutivité des objectifs.
Peut-être avoir un coup d'oeil à
OriginalL'auteur Leen Toelen
Un de mes amis a travaillé il y a longtemps sur un backend SQL pour stocker round robin de données: http://rrs.decibel.org
Cependant, je soupçonne que, puisque vous vous posez à propos de "périphériques à surveiller", vous cherchez peut-être une solution plus complète.
J'ai juste trouvé que trop, il semble que la dernière mise à jour 2005. Ne veut pas dire que ça ne marcherait pas maintenant, je n'ai tout simplement pas prendre le temps pour extraire l'archive. :-/
OriginalL'auteur Greg Hewgill
Si les opérations d'e/S par seconde est votre principal goulot d'étranglement et vous êtes sous Linux, il y a un hack qui ne vous coutera que de la mémoire. Utiliser un tmpfs mont de mettre en scène votre RRD écrit.
Toutes les opérations d'e/s sera fait dans la mémoire et n'aurez pas à supporter des goulets d'étranglement trouvé en faisant des e/s de disque (c'est même plus rapide que d'utiliser solid state disks). Vous pouvez ensuite utiliser une tâche cron et rsync pour copier seulement changé les Drer sur le disque une fois toutes les quelques minutes.
Créer les répertoires
Créer un 500 MO-mémoire vive maximale du système de fichiers avec les options appropriées
Copier les anciens fichiers RRD dans le nouveau point de montage
Configurer votre rrd-application d'écriture pour écrire le nouveau point de montage
Mis en place une tâche cron pour ne synchroniser que la changé Drer sur le disque une fois toutes les 2 minutes
N'oubliez pas de copier votre sauvegarde des fichiers RRD dans le point de montage avant vous démarrez votre rrd-application d'écriture! Vous pouvez avoir besoin de modifier le script d'initialisation pour ce service et assurez-vous que les fichiers sont là avant qu'il ne commence. Si il démarre sans les fichiers en place, de nouveaux nu sera créé et vous serez très confus, une fois que la lecture de répertoire est écrasée avec vide Drer.
Si à un certain moment, vous avez besoin de redimensionner le tmps de montage, vous pouvez le faire à la volée:
OriginalL'auteur Peter Willis