Comment puis-je prendre une sauvegarde du stockage d'instance / ephemeral aws ec2?

J'ai ma db conservés dans /mnt, à l'aide de stockage éphémère qui vient avec l'instance ec2. De prendre la sauvegarde en utilisant les outils api ec2 nous avons besoin d'un id de volume, mais dans la console aws je peux trouver l'id de volume de seulement les 8 go de stockage racine.

Que dois-je faire si vous voulez que la sauvegarde de stockage éphémère? Est-il une alternative pour la sauvegarde de stockage d'instance?

source d'informationauteur Smita | 2012-05-25

  1. 30

    D'abord et avant tout, vous devez ne jamais stocker quoi que ce soit de valeur durable sur le stockage éphémère dans Amazon EC2sauf si vous savez exactement ce que vous faites et êtes prêt à toujours avoir point dans le temps des sauvegardes etc. - votre question semble pour indiquer que vous pourrait être confondu avec le concept de stockage éphémère, le différence entre Instance Amazon EC2 de Stockage un Amazon EBS et les conséquences importantes quant à la sécurité des données et les exigences en matière de sauvegarde:

    Stockage éphémère sera perdu sur stop/start cycles et pouvez généralement aller loinde sorte que vous ne voulez certainement pas à mettre quoi que ce soit de valeur à long terme il y a, c'est à dire seulement mettre les données temporaires de là, vous pouvez vous permettre de perdre ou de reconstruire facilementcomme un fichier de swap ou strictement temporaire de données à utiliser lors des calculs. Bien sûr, vous pouvez stocker d'énormes indices il y a par exemple, mais ils doivent être prêts à reconstruire après le stockage a été éliminée pour quelque raison que ce soit (exemple redémarrage, panne de matériel, ...).

    • C'est l'une des nombreuses raisons Eric Hammond parfaitement résumées dans Vous Devez Utiliser l'EBS de Démarrage des Instances Amazon EC2), qui décrit l'histoire et les différences entre les deux concepts de stockage et évalue les quelques autres avantages possibles de l'éphémère de stockage (principalement abondante et gratuite).

    Problème/Solution

    Ces explications devraient clarifier la raison pour laquelle vous êtes incapable de sauvegarde de l'éphémère des volumes de stockage avec un mécanisme qui s'applique uniquement à des volumes EBS (c'est à dire des instantanés EBS). En conséquence, vous pouvez sauvegarder l'ancienne via système d'exploitation régulière niveau de l'outil de sauvegarde de votre choix, avec La duplicité être un choix populaire éventuellement faciliter Amazon S3 par exemple, comme indiqué dans ma réponse à Facile à utiliser le logiciel de sauvegarde pour vivre serveur linux.

  2. 6

    Stockage éphémère, ou le stockage d'instance, en tant que-est, est comme un dossier /tmp, dont le contenu disparaissent après un redémarrage. Bien sûr, éphémère contenu du disque ne sont pas détruits sur un soft reboot, mais elles doivent être traitées comme si elles étaient des, puisque vous ne pouvez pas réaliste de contrôler ou de prédire quand votre instance décide de mourir.

    Cela a déjà été souligné.

    Ce que je voudrais souligner, c'est que si vous créez et configurez vos AMIs de façon appropriée, vous pouvez toujours utiliser le stockage éphémère pour améliorer considérablement la (lire) le débit, aussi longtemps que vous gardez aussi EBS disques pour le stockage.

    Ce que j'utilise en ce moment est de Linux (Ubuntu Tahr) des cas avec bcache. C'est principalement parce que bcache prise en charge du noyau est relativement nouveau (IIRC, le premier avec la bcache était 3.10), et vous seriez certainement voulez récente d'un noyau que possible. Aussi, Tahr est la prochaine version LTS d'Ubuntu, et c'est finalement mon projet est proche de lancement 😉

    Bcache, dans sa configuration par défaut, vous permet de bénéficier de la lire vitesse de l'éphémère, de stockage, tout en vous donnant la persistance de l'EBS: Il faut un cache rapide de l'appareil (éphémère SSD) et l'utilise pour accélérer le rythme d'une lenteur de l'appareil (EBS), l'écriture dans le cache de l'appareil (qui est, écrit simultanément à l'éphémère cache et EBS).

    Cela signifie que si une instance de crash ou autrement être arrêté, vous pouvez toujours monter le volume EBS directement sans le cache, et d'accéder à toutes vos données comme vous le feriez autrement en utilisant uniquement les volumes EBS. Vous pouvez également reconfigurer les maintenant effacé éphémère périphériques et de re-configurer comme un cache pour l'EBS pour revenir à profiter de très lectures rapides et cherche.

    Ma configuration particulière est deux EBS périphériques, fait irruption dans la bande de mode à l'aide de mdadm + deux éphémère dispositifs SSD aussi attaqué de la même manière. Puis je l'ai configuré avec bcache, à l'aide de l'éphémère tableau comme le cache, et l'EBS tableau comme la "sauvegarde" de l'appareil. L'EBS les lecteurs peuvent être de toute taille, et vous pouvez toujours développer (un peu délicat avec EC2, parce que vous avez à créer un instantané de l'actuel volumes EBS, puis créer plus de nouvelles, fondées sur le snapshot — vous ne pouvez pas redimensionner un existant volume EBS).

    Bien sûr, vous aurez à créer un script qui s'exécute à l'intérieur de votre instance au démarrage pour configurer le stockage éphémère et de l'associer en tant que cache de l'appareil sur votre EBS périphérique de sauvegarde. J'encourage la lecture sur, et à l'expérimentation, mdadm et bcache.

    Pour l'enregistrement, le test avec le Cassandra outil de stress, je reçois mieux les performances de lecture avec des volumes EBS bcached avec l'éphémère lecteurs que je fais avec juste l'entrelacement de l'éphémère lecteurs. C'est à cause de l'algorithme utilisé dans bcache, qui est très intelligent.

    À l'aide de l'éphémère, de lecteurs comme un cache également réduit le trafic réseau et est rentable, car il réduit les I/O sur EBS, et donc de votre facture mensuelle.

    Notez également les différents types de mise en cache bcache offre:

    1. Écrire de nouveau: Utiliser le SSD comme appareil de lecture/écriture, et écrire uniquement sur le périphérique de sauvegarde lorsque les pages doivent être expulsés de la cache. C'est pas utile pour EC2 éphémère configurations, comme il rendra votre périphérique de sauvegarde inutile sur une collision ou d'un arrêt.
    2. À écrire grâce à: Toutes les écritures accédez à la fois cache et de sauvegarde. Cela garantit que le périphérique de sauvegarde est toujours up-to-date que le cache de l'appareil, et il peut toujours être utilisé sans le cache de l'appareil. Utile pour EC2.
    3. Écrire autour d': Toutes les écritures aller directement sur le périphérique de sauvegarde, et ne sont pas écrites dans le cache de l'appareil jusqu'à ce qu'une demande de lecture qui se passe pour que les données certain temps dans l'avenir. Seules les lectures sont mises en cache dans le cache de l'appareil. C'est aussi sûr que d'écrire sur, et est utile si vous savez que votre écrit ne sont pas susceptibles d'être lu dans un avenir proche. Cela évite de remplissage de la mémoire cache de l'appareil avec des données qui n'est pas demandé souvent, de sorte qu'il n'y a plus d'espace pour ce est données demandées. Quelques exemples pourraient être un upload de fichier du serveur, un système où vous écrivez beaucoup de journalisation des données, etc. Si vous savez que l'ensemble de votre jeu de données est nettement plus grande que l'éphémère de la taille de stockage, ce qui est le plus susceptible d'être l'option la plus efficace dans un grand nombre de cas d'utilisation.
  3. 2

    Si vous êtes en mesure de configurer un RAID logiciel miroir, vous pouvez joindre un EBS disque à l'instance, configurer un miroir, ensuite, attendre pour la réplication. J'ai utilisé avec succès cette méthode pour déplacer "éphémère" de données dans EBS après, j'avais déjà créé l'instance (et je n'ai pas envie d'arrêter et redémarrer).

    Une fois que vous avez les données sur EBS, de retour avec EBS images.

    Cette méthode fonctionne particulièrement bien lorsque vous avez plusieurs copies des données en cours d'exécution sur différentes instances identiques, mais vous avez seulement besoin de l'un d'eux a persisté à l'EBS (dans mon cas, à l'aide de Couchbase server, la CB a été éphémères lecteurs, mais j'ai eu l'une des instances de miroir à l'EBS à ce que toutes les données sur mon cluster finit dans EBS).

  4. 0

    Tout fichier de sauvegarde au niveau de la solution (non basé sur des instantanés EBS) pouvez sauvegarder votre stockage éphémère. Cela dit, vous devriez considérer lors de l'utilisation de stockage éphémère, et ont de bonnes raisons de l'utiliser pour les données persistantes.
    Pour certaines applications, comme Cassandra, c'est la configuration recommandée. Dans ce cas, votre solution de sauvegarde principalement de vider les données de l'éphémère, de stockage d'un volume, qui sera snapshotted ou directement sur S3. Dans certains cas, vous pouvez définir la réplication et assurez-vous que toutes les données dans l'éphémère de l'appareil est également répliqué pour les volumes EBS.