Meilleur fichiers distribué des produits de base linux de stockage à la ferme

J'ai un lot de pièces de rechange d'intel serveurs linux autour de la pose (des centaines) et que vous souhaitez les utiliser pour un système de fichiers distribués dans un site web d'hébergement et de partage de fichiers de l'environnement. Ce n'est pas pour un CPS de l'application, de sorte que de haute performance n'est pas critique. La principale exigence est de haute disponibilité, si un serveur est hors ligne, les données stockées sur les disques durs est toujours disponible à partir d'autres nœuds. Il doit s'exécuter sur TCP/IP et de fournir la norme POSIX autorisations de fichier.

J'ai regardé le suivant:

  • Lustre (http://wiki.lustre.org/index.php?title=Main_Page): Vient vraiment près, mais il ne fournit pas de redondance des données sur un nœud. Vous devez rendre les données d'HA à l'aide de RAID ou de DRBD. Pris en charge par le Soleil et l'Open Source, de sorte qu'il devrait être autour pendant un moment

  • gfarm (http://datafarm.apgrid.org/): il Semble qu'il fournit la redondance, mais au prix de la complexité et de la maintenabilité. Pas pris en charge que du Lustre.

Quelqu'un a une expérience avec ce produit ou de tout autre système qui pourrait fonctionner?

  • Aimeriez-vous partager avec nous votre décision finale sur elle?
InformationsquelleAutor Eric | 2008-11-06
  1. 21

    vérifier également GlusterFS

    Édition (Août-2012): Ceph est enfin prêt. Récemment, les auteurs ont formé Inktank, une entreprise indépendante à vendre à des conditions commerciales favorables. Selon certains presentaions, le montage conforme à POSIX système de fichiers est la couche la plus élevée et pas vraiment encore testé, mais les couches inférieures sont utilisées dans la production pendant un certain temps maintenant.

    La partie intéressante est la ORAD de la couche, qui présente un objet de stockage en fonction à la fois d'une "native" de l'accès via le librados bibliothèque (disponible en plusieurs langues) et de Amazon S3 compatible REEE de l'API. Soit on en fait plus que suffisant pour l'ajout de stockage massive à un service web.

    Cette vidéo est une bonne description de la philosophie, l'architecture, les capacités et l'état actuel.

    • J'ai été déçu par glusterfs performance / fiabilité sous la lourde IO charges.
    • Pouvez-vous s'il vous plaît partager ce "lourd IO charge" signifie? combien d'IOPS?
    • Qu'advient-il si un nœud tombe? Je suis curieux au sujet d'un "gluster" de la configuration, où le cluster peut contribuer de données (pour la redondance, ou pour le stockage supplémentaire, sur le serveur du choix), et de débrancher à chaque fois qu'il veut sans détruire la "matrice raid".
    • Ayant largement utilisé, je dirais que le système de fichiers POSIX couche de ceph comme expérimental et horriblement buggé, FYI.
    • Je suis d'accord. ce que je voulais noter, c'est que d'autres non-fs-couches (ORAD, rdb) sont très fiables. Pour la compatibilité POSIX, il semble MooseFS est beaucoup mieux. J'aimerais le voir ceph-fs matures, depuis rdb est tout à fait souhaitable d'avoir dans le même cluster...
    • À mon humble avis Ceph est loin d'être prêt et ne va certainement pas devenir prêt dans le futur proche. Je recommande d'éviter Ceph comme il ont trop de problèmes pour être utilisé avec un degré raisonnable de confiance.
    • J'ai aussi eu une très mauvaise expérience avec glusterfs, lors de fortes IO charge, quelques fois crash du serveur, et les fichiers commence à disparaître.

    InformationsquelleAutor Javier
  2. 5

    À mon avis, le meilleur système de fichiers pour Linux est MooseFS , il est tout à fait nouveau, mais j'ai eu l'occasion de le comparer avec Ceph et le Lustre et j'dire pour sûr que MooseFS est le meilleur.

    • D'accord avec la correction: MooseFS est maintenant propriétaire de son successeur, LizardFS est le meilleur à mon humble avis.
    • MooseFS est plus propriétaire
    • Techniquement parlant. Mais il n'a pas de public VCS ni bug tracker. Si l'auteur de prendre vers le bas de l'archive des sources, et de les fournir à la demande nouveau? LizardFS a déjà de la communauté derrière elle et (contrairement à MooseFS) LizardFS sera dans Debian bientôt. LizardFS est libre (c'est à dire pas de "community edition", etc...).
    • MooseFS code source est disponible sur GitHub: github.com/moosefs/moosefs
    InformationsquelleAutor Adrian Goldberg
  3. 4

    Gluster commence à y avoir beaucoup de presse à l'heure actuelle:

    http://www.gluster.org/

    • N'est-ce pas un doublon?
    • est-ce grave si c'est un doublon? Oui, le répondeur ne devriez pas ont ajouté, car il était déjà là, mais downvoting juste parce que c'est un doublon semble erroné
    • Glusterfs est gras, mange beaucoup de mémoire pendant la haute IO charge, et très lent.
    InformationsquelleAutor user566016
  4. 2

    Si quelqu'un vous oblige à l'utiliser, je vous recommande vivement d'utiliser autre chose que du Lustre. De ce que j'ai entendu d'autres et ce aussi me suis donné des cauchemars depuis quelques temps, c'est le fait que le Lustre assez facilement se décompose dans toutes sortes de situations. Et si un seul client dans le système tombe en panne, elle se met dans une interminable do_nothing_loop mode typiquement tout en maintenant certaines importants à l'échelle mondiale de verrouillage de sorte que la prochaine fois qu'un client tente d'accéder à la même information, il a également accrocher. Ainsi, vous finissent souvent le redémarrage de l'ensemble du cluster, qui je pense est quelque chose que vous essayez d'éviter normalement 😉

    Moderne parallèle systèmes de fichiers comme FhGFS (http://www.fhgfs.com) sont plus robustes ici et vous permettent également de faire de belles choses comme la course de composants client et serveur sur la même machine (si intégré dans les fonctionnalités HA sont encore en cours de développement, comme quelqu'un de leur équipe m'a dit, mais leur mise en œuvre va être assez impressionnant de ce que j'ai entendu).

    • fhghfs, le peuple qui nous a donné des brevets sur le mp3?
    InformationsquelleAutor kurtenbach
  5. 1

    Lustre a travaillé pour nous. Il n'est pas parfait, mais c'est la seule chose que nous avons essayé et qui n'a pas brisé la charge. Nous obtenons toujours LBUGS de temps à autre, et de traiter avec 100 TO + les systèmes de fichiers n'est jamais facile, mais l'Éclat système a fonctionné et a augmenté à la fois les performances et la disponibilité.

    InformationsquelleAutor Chris herzig
  6. 0

    Ceph semble être une nouvelle et prometteuse-ish entrée dans l'arène. Le site affirme qu'il n'est pas prêt pour une utilisation en production pour le moment.

    • L'expérience confirme cette revendication.
    InformationsquelleAutor kbyrd
  7. 0

    J'ai lu beaucoup de choses sur les systèmes de fichiers distribués, et je pense que FhGFS est le meilleur.

    http://www.fhgfs.com/

    Il vaut la peine d'essayer. Voir plus à ce sujet à:

    http://www.fhgfs.com/wiki/

    • FhGFS est un logiciel propriétaire sans les sources. Ne perdez pas de temps pour tout le monde s'il vous plaît. -1.
    InformationsquelleAutor Edemilson Lima