Qu'est ce qu'un cache distribué?

Je suis confus au sujet de la notion de Cache Distribué. J'ai un peu savoir ce que c'est à partir d'une recherche sur google. Un cache distribué peut s'étendre sur plusieurs serveurs, de sorte qu'il peut croître en taille et en capacité transactionnelle. Cependant, je ne comprends pas vraiment comment il fonctionne, ou de la façon de distribuer les données.

Par exemple, disons que nous avons de Données 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 et 2 serveurs de cache A et B. Si nous utilisons cache distribué, alors une solution possible est que les Données à 1, 3, 5, 7, 9 sont stockées dans le Cache du Serveur de A, et 2, 4, 6, 8, 10 sont stockées dans le cache du Serveur B.

Alors, est-ce correct ou ai-je mal?

Deuxième question est que j'ai l'habitude entendu le mot nœud de serveur. Quel est-il? Dans l'exemple ci-dessus, le Serveur A est un nœud de serveur, non?

Troisième question, si un serveur (disons que le Serveur A) descend, que pouvons-nous faire à ce sujet? Je veux dire, si mon exemple ci-dessus est correcte, nous ne pouvons pas obtenir les données de 1, 3, 5, 7, 9 à partir du cache lorsqu'Un Serveur est en panne, alors que le Cache du Serveur de faire dans ce cas?

InformationsquelleAutor Joey | 2013-03-17
  1. 37

    1. Oui, la moitié des données sur un serveur, et pour moitié sur le serveur b serait un cache distribué. Il existe de nombreuses méthodes de distribution des données, bien que certains sorte de hachage des clés semble être la plus populaire.

    2. Les termes du serveur et le nœud sont généralement interchangeables. Un nœud est généralement une seule unité de collecte, souvent appelé un cluster. Un serveur est généralement d'une seule pièce de matériel. En erlang, vous pouvez exécuter plusieurs instances de l'erlang d'exécution sur un seul serveur, et donc, vous avez de multiples erlang des nœuds... mais en général, vous voulez avoir qu'un seul nœud par serveur pour plus d'optimum de la planification. (Pour les non-distribué des langues et des plates-formes, vous avez à gérer vos processus en fonction de vos besoins.)

    3. Si un serveur tombe en panne, et c'est un serveur de cache, les données doivent provenir de sa source d'origine. Par exemple: UN cache est généralement une mémoire de base de données conçu pour la récupération rapide. Les données dans le cache autour de bâtons qu'aussi longtemps que son utilisée régulièrement, et finira par être détruit. Mais les systèmes distribués où vous avez besoin de la persistance, une technique courante est de disposer de plusieurs copies. Par exemple: vous avez des serveurs A, B, C, D, E et F. Pour les données 1, vous pouvez le mettre sur Une, puis une copie sur B et C. Couchbase et Riak ce faire. Pour les données de 2, il pourrait être sur B, puis copie sur C et D. de Cette façon, si un serveur tombe en panne, vous avez encore deux exemplaires.

    • Tout d'abord, merci pour vous réponses rapides et il est très très clair. J'ai vraiment apprécié. Sur le point 3, je peux faire des serveurs A, B, en temps réel, la mise en cache, et les serveurs C, D, E, F uniquement pour les sauvegardes? c'est à dire. Pour les données 1, je l'ai mis sur Un Serveur, puis copie sur C et D. Pour données 2, je l'ai mis sur le Serveur B, puis copie sur E et F. C D E F ne sont utilisés que si A ou B sont à la baisse. De cette façon, l'air plus structuré. Est-ce que tu veux dire dans le point 3?
    • Pour rendre cela plus clair, la différence est que vous mélangez les données et les copies de tous les serveurs. Par exemple, vous avez dit de mettre des données 1 sur Un serveur et les copies B et C, des données 2 sur le Serveur B et copies sur C et D. Ensuite, le Serveur B est à la fois "d'origine" de données 2 et une copie des données 1. Est-il mieux si j'ai séparé tous les "données d'origine" et des copies et de les mettre dans des serveurs différents?
    • Eh bien, il semble que vous êtes en train de rédiger votre propre logiciel de sorte que vous pouvez, bien sûr, faire ce que vous voulez. Mais lors de la conception de ces types de systèmes, vous devez tenir au courant des modes de défaillance et le coût de la gestion des serveurs, surtout si vous avez de systèmes complexes avec de nombreux serveurs.
    • Ce que vous décrivez est un "basculement" système où les serveurs A et B sont les maîtres et le reste sont tout simplement inactif jusqu'à ce qu'ils sont nécessaires. C'est plus cher parce que la charge de vos serveurs peuvent fournir seulement 2 serveurs vaut -A & B. que j'ai décrit une architecture distribuée du système où tous les serveurs peuvent répondre aux requêtes de certaines données, ce qui vous permettra de gérer plus de charge pour un nombre donné de serveurs, car aucun ne sont en veille.
    • Enfin, Couchbase 2.0 fournit essentiellement le système que j'ai décrit. Une mémoire cache RAM sur chaque serveur, avec toutes les données enregistrées sur le disque, et toutes les données distribuée dans le cluster. Sauf si vous êtes à la résolution de ce problème à des fins d'apprentissage, vous pouvez utiliser Couchbase de fournir cela et beaucoup plus (par exemple des indices, chaud de basculement et de rééquilibrage automatique des données.) C'est une chose difficile à faire complètement et bien, c'est pourquoi je ne suis pas le faire moi-même. 🙂
    • J'ai une autre question si nous utilisons votre chemin de sauvegarde de 2 copies de données. Je pense que vous pouvez avoir une bonne idée. Par exemple, en quelque sorte, si je continue à mettre des données dans le Cache C, et leurs copies sur D et E. Maintenant, Cache C est plein. Maintenant j'ai mis un autre, disons DataX en Cache Un, sa copie est censé être en B et C, mais C est déjà plein. Que pouvais-je faire avec elle. @Bill Warren
    • Je sais que nous pouvons utiliser l'algorithme de remplacement tels que la LRU pour un seul serveur de cache. Mais dans le cas ci-dessus, si j'utilise un algorithme pour remplacer une entrée(disons de Données 1) avec la copie de DataX, les Données 1 aura seulement 2 exemplaires dans l'ensemble des serveurs de cache, car les Données 1 dans le Cache C est remplacé. Alors qu'il est incohérent. Avez-vous des bonnes idées pour résoudre ce problème? @Bill Warren
    • Regardez la façon dont memcached seaux de travail dans Couchbase 2.0. Beaucoup mieux à l'utiliser (c'est de l'open source) que pour mettre en œuvre votre propre. Mais la réponse à vos questions, si c'est vraiment un cache, puis, quand il a trop d'éléments, il doit en supprimer certains. C'est son but. Quand il purge une, parce que son plein, alors il purge les copies des deux autres serveurs. Par l'utilisation cohérente de hachage, les données sont réparties autour de l'amas, donc pas de cache est trop pleine, ou pas de cache trop plein, depuis le hachage est essentiellement une assignation aléatoire.

    InformationsquelleAutor nirvana
  2. 2

    J'ai été Distribué à l'aide de solutions de mise en cache pour un certain temps maintenant (NCache , AppFabric etc) et je vais répondre aux trois questions basées sur mon expérience avec la mise en cache Distribuée.

    1: la mise en cache Distribuée solution permet de conserver les données sur tous les serveurs par la création d'un cluster de cache. Disons que vous avez de 2 serveurs de cache(serveur de nœuds) et vous avez ajouté des 10 éléments dans votre cache. Idéalement de 5 éléments doivent être présents dans les deux nœuds de serveur depuis le chargement des données est distribuée entre le nombre de serveurs dans votre cluster de cache. Ceci est habituellement réalisé à l'aide de fonctions de hachage et intelligent de distribution de données algorithmes. En conséquence, votre demande de données de charge est aussi divisé entre tous les serveurs de cache et votre réaliser la croissance linéaire transnationale de capacité que vous que plus de serveurs dans le cluster de cache.

    2: Un cluster de cache peut contenir de nombreuses machines serveurs, qui sont aussi appelés nœuds de serveur. Oui, le Serveur A est un nœud du serveur ou du serveur de la machine dans votre exemple.

    3: Généralement Distribués système de mise en cache sont très fiables à l'aide de la réplication de soutien. Si un ou plusieurs serveurs sont en panne et vous avez eu la réplication allumé alors il n'y aura pas de perdre des données ou de temps d'arrêt. NCache a différentes typologies pour lutter contre cela, comme l'illustre la topologie et la Partition de la réplique de la topologie où les données de chaque serveur est répliqué sur les autres serveur. Dans le cas d'un serveur tombe en panne, les données répliquées de ce serveur est automatiquement mis à la disposition de l'survivant nœud de serveur.

    Dans votre exemple, les données d'Un serveur(1, 3, 5, 7, 9) est répliquée sur le serveur B(2, 4, 6, 8, 10) et vice-versa. Si Un serveur tombe en panne, les données d'Un serveur qui est présent sur le Serveur B seront mis à disposition et utilisé à partir de là, de sorte que pas de perdre des données se produit. Donc, si Un serveur tombe en panne et l'application des demandes de données (1), c'données récupérées à partir du Serveur B en tant que Serveur B contient la sauvegarde de toutes les données du Serveur A. C'est transparente à vos applications et est géré automatiquement par le système de mise en cache.

    InformationsquelleAutor Shoeb Lodhi